腾讯安全新玩家：PB级日志秒级查询的数据湖产品发布
昨天，腾讯安全发布了一款自研的云原生安全数据湖产品，有两个指标让人印象深刻。据其官方新闻介绍，在同等数据规模下，这个数据湖的硬件成本是同类开源软件的不到1/10，在查询性能特别是聚合查询性能方面能实现PB级日志的秒级查询。
如果这个指标是确切的，那算是国产安全日志处理软件的一个里程碑。因为在日志处理上，“PB级数据秒级查询”是一个分水岭一样的技术指标，目前主流的开源软件方案基本在TB级别徘徊，海外有企业能够达到PB级别的性能，但相应的硬件和授权费用成本也很高。
目前市面上应用最广泛的安全日志分析工具还是开源软件ElasticSearch，多数企业均是基于ES搭建自己的日志处理系统，但它存在明显的缺陷，例如因为索引带来的数据膨胀消耗额外CPU资源，占用大量的磁盘空间。
另外，采用开源软件搭建的系统，由于组成结构复杂，企业后续维护的成本会也会更高，当需要扩容的时候，也会面临若干技术上的瓶颈——这也是很多企业目前正在遇到的问题。
由于XDR、大数据的兴起，井喷的市场需求面前，安全日志处理这个场景近几年也成为“当红炸子鸡”，催生了若干明星公司：
Splunk，一家位于美国旧金山的科技公司，其公司产品主要关注机器生成大数据的搜寻、监视和分析。旗下同名产品可以为指定资料来源的资料建立索引并建立关联，然后生成图表、报告、警告，并以图形网页的形式予以展示。（业内人士一般认为其产品具有较高的使用门槛，需要具备一定的专业技能和不菲的学习成本。）
Splunk 2021年收入26.74亿美元，毛利19.4亿美元。
DataSet（前身为Scalyr）
Scalyr成立于2011年，由Writely前首席工程师兼创始人Steve Newman创立，其技术被收购并成为Google Docs。在首席执行官 Christine Heckart 的领导下，该公司提供了一套集成的服务器监控、日志管理、可视化和分析工具，将所有指标实时聚合到一个集中式系统中，该系统可以与云服务集成。
2021年2月9日，Scalyr被安全厂商 SentinelOne以1.55亿美元价格收购。
Humio
Humio 是 2016 年成立的一家英国公司，2021 年 3 月被安全厂商 CrowdStrike 以4亿美元价格收购。Humio主要为客户提供日志数据管理分析服务，公司旗下的无索引技术方案可以帮助企业记录所有结构化/非结构化数据内容并帮助其快速检索恢复。
Clickhouse
2021年，Clickhouse 公司成立，致力于将Clickhouse产品打造成分析型数据库（OLAP）的首选。同时Clickhouse从Yandex剥离，引入VC投资，先后完成5000万美元A轮和2.5亿美元 B轮融资，估值达到20亿美元。
如今，这个领域又多了腾讯安全这个玩家。据公开资料显示，它基于MPP架构，采用Rust语言开发，针对日志及安全场景进行专项优化；使用列存储实现极致压缩比，无索引架构避免索引开销。
腾讯安全日志湖的技术架构
抛开眼花缭乱的技术描述，光是“硬件成本是为同类开源软件的不到1/10，PB级日志的秒级查询”这一项指标就足以让人动心了。
相比前述公司，它兼具了成本、效率和性能优势，且考虑到国产化替代的主流趋势，未来可能是很多企业选择安全日志产品不二之选。
信息来源：
infQ：腾讯安全发布云原生安全数据湖腾讯云：搞定这件事，老板终于同意给我批假了*以上内容不构成投资建议，不代表刊登平台之观点，市场有风险，投资需谨慎，请独立判断和决策。
微信客服
