本文字数: 1500, 阅读完需: 8 分钟
导读在这场演示中,Amanda Vermeili和Ross Warren探讨了Amazon Security Lake如何让客户能够将来自各种来源的安全日志集中、聚合并规范化为开放网络安全架构框架(OCSF)格式。他们阐释了Security Lake如何自动化日志的接收和转换过程,从而简化了数据生命周期管理,并有助于应用诸如具备生成式人工智能功能的Amazon QuickSight等分析工具。该演示重点介绍了Security Lake与Amazon Bedrock、Amazon Q等生成式人工智能工具如何通过支持对规范化安全数据进行自然语言查询和可视化,从而增强威胁分析、降低风险并优化安全态势。
演讲精华以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。
在瞬息万变的网络安全领域,组织机构面临着从不同来源收集和管理安全数据的艰巨挑战。亚马逊公司经验丰富的安全专家Amanda Vermeili和产品解决方案架构师Ross Warren在2024年的re:Inforce大会上发表了一场题为”利用生成式AI和Amazon Security Lake增强威胁分析”的精彩演讲,深入探讨了数据收集的复杂性,以及Amazon Security Lake结合生成式AI如何能够革新威胁分析。
IT专业人士在试图从IT基础设施(包括Amazon云科技、非Amazon云科技、本地和混合环境)收集数据时,面临着巨大挑战。BI公司的一项调查显示,有52%的组织希望将数据在线保留更长时间,以便随时采取行动。然而,这一愿景常常受到成本和复杂性的阻碍,因为日志可能非常冗长,长期存储会导致费用激增。
在与客户互动时,Amanda和Ross发现了一些反复出现的主题,揭示了客户所面临的多重挑战。首先,随着Amazon云科技基础设施不断扩张,账户、资源和工作负载的增加也在无可避免地产生更多日志。其次,生命周期管理构成了一个重大障碍,客户必须处理来自Amazon云科技工作负载、SaaS应用程序、本地环境和非Amazon云科技云提供商的日志。
此外,日志的专有性加剧了复杂性,每个供应商都遵循自己独特的格式。这种异构性给安全团队和分析师带来了巨大挑战,他们必须一致地解码和解释来自不同来源的数据。因此,安全团队不得不投入大量精力对日志进行转换和应用ETL流程,然后才能执行SQL查询或连接数据,这是一个艰巨而耗时的过程。
面临这些挑战的同时,客户在汇总日志并将其传输到第三方分析工具时,也失去了对数据的控制权。放弃数据主权可能会产生深远的影响,尤其是在依赖全面日志信息的生成式人工智能和变革性技术领域。
为了应对这些紧迫的问题,亚马逊云科技两年前在BLACK HAT大会上共同推出了开放网络安全架构框架(OCSF)。这个开创性的开源框架标准化了日志的架构格式,促进了无缝集成和分析。在过去两年中,OCSF获得了广泛采用,彰显了其在网络安全领域的重要性。
在OCSF奠定的基础上,亚马逊安全湖应运而生,成为一个颠覆性的解决方案,于2022年re:Invent上宣布推出,并在今年早些时候正式上线。这项创新服务使客户能够轻松集中、聚合和规范化OCSF格式的日志信息。其功能不仅涵盖了本地亚马逊云科技日志源,还包括合作伙伴工具、SaaS应用程序以及跨所有亚马逊云科技账户和区域的自定义日志源。
亚马逊安全湖的卓越之处在于其全面的功能集。客户可以无缝选择亚马逊云科技日志源、SaaS应用程序、合作伙伴工具和自定义日志源,将数据引入安全湖。此外,该服务还提供生命周期管理功能,使客户能够应用定义日志源存储和保留时间的策略,优化资源利用和成本效率。
亚马逊安全湖的一大亮点是能够自动索引、排队和将数据转换为OCSF格式。这种自动化减轻了客户的负担,无需编写脚本或利用Lambda函数进行数据转换。引入的数据随后将提供给订阅者,允许客户通过合作伙伴工具、分析工具(如SIEM或SOAR)或在其S3 Lake Formation账户中存储的数据之上构建自己的分析来利用这些数据。
亚马逊安全湖已无缝集成了各种原生亚马逊云科技日志源,包括亚马逊云科技WAF日志、EKS日志和来自第三方SaaS应用程序的亚马逊云科技App Fabric日志。此外,它还支持合作伙伴源和订阅方端的合作伙伴工具,使客户能够利用亚马逊云科技分析工具(如OpenSearch、QuickSight和Athena)的强大功能,或利用联合查询访问来避免数据出口成本。
当与亚马逊SageMaker、亚马逊Bedrock和亚马逊QuickSight with Amazon Q等生成式人工智能工具相结合时,亚马逊安全湖的真正潜力就得以释放。这些尖端技术使客户能够在亚马逊安全湖的标准化数据之上构建安全分析应用程序,开启了无限可能。
演讲者强调的一个引人注目的用例是,通过在标准化数据上构建生成式人工智能应用程序,能够降低组织风险并提高安全态势。这种方法利用人工智能的力量来识别和缓解潜在威胁,从而加强组织的网络安全防御。
另一个变革性的应用领域在于数据可视化和交互式仪表板。通过利用亚马逊QuickSight和亚马逊Q,安全团队可以创建视觉吸引力强、洞见力强的仪表板,并根据特定需求进行定制。这些仪表板利用自然语言处理,允许用户用普通语言提出查询并接收直观的可视化效果,从而简化分析过程。
也许最引人入胜的用例之一是能够使用Bedrock和RAG提供程序(如亚马逊Kendra)构建虚拟安全助手。这些智能助手可以回答事件响应问题,甚至自动执行响应操作,为不断演进的网络威胁防御提供了强大的助力。
在会议期间,Ross Warren进行了一场精彩的演示,展示了如何利用亚马逊QuickSight和亚马逊Q基于亚马逊安全湖中的数据构建仪表板和可视化效果。他熟练地浏览了整个过程,提出自然语言问题并生成可视化效果,这些可视化效果可以无缝地固定在仪表板上或集成到用于演示的数据故事中,全都由底层的生成式人工智能功能驱动。
在一个引人入胜的示例中,Ross模拟了一种情况,其中他的首席执行安全官要求为即将召开的董事会会议提供全面的安全概述。传统上,这种要求需要从各个团队收集数据,并精心制作演示文稿,这是一个艰巨的过程。然而,借助生成式人工智能的帮助,Ross展示了他如何利用内部聊天系统生成所需的对话和可视化效果,从而大大减少了准备时间和工作量。
该会议强调了Amazon Security Lake和生成式人工智能在增强威胁分析和加强组织安全态势方面的变革潜力。通过以开放式网络威胁情报描述和传输格式(OCSF)集中、聚合和规范化日志数据,Amazon Security Lake解决了长期存在的数据收集和管理挑战。当与Amazon SageMaker、Amazon Bedrock和Amazon QuickSight with Amazon Q等生成式人工智能工具的强大功能相结合时,安全团队可以获得强大的能力,从而构建安全分析应用程序、交互式仪表板、可视化效果和虚拟安全助理。
在不断演变的网络安全领域,威胁不断升级,数据量呈指数级增长,Amazon Security Lake与生成式人工智能的协同作用成为一线希望,使组织能够以前所未有的效率和效力保持领先地位,并保护其数字资产的安全。
下面是一些演讲现场的精彩瞬间：
在过去的一年里,亚马逊实际上构建了多个集成,包括Amazon Web Services Web应用程序防火墙日志、EKS日志和Amazon Web Services App Fabric等第三方SaaS应用程序日志,以及CloudTrail、VPC Flow日志和DNS Flow日志等常见日志源,无需客户单独付费或启用这些日志。
通过利用人工智能或生成式AI,并在此数据基础上构建自己的生成式AI工具,可以降低组织的风险并提高安全态势,这是一些关键的使用案例。
亚马逊QuickSight包含了一个生成式AI组件Amazon Q,可帮助客户根据安全需求构建交互式仪表板和可视化效果,从而从安全数据湖中获得深入洞见。
通过Amazon QuickSight和Q,客户可以轻松查看和分析来自Amazon Security Hub的安全日志和合作伙伴数据,并将有价值的可视化内容添加到仪表板中。
因此,安全数据湖通过自动化和轻松地整合数据,以及利用OCSF标准化数据的优势,使任何RAG或生成式AI工具都能轻松地使用这些数据并进行自然语言处理,从而在Amazon Q和其他生成式AI应用程序中构建洞见。
总结组织在管理来自多个环境的大量日志、专有格式和数据转换的复杂性方面存在困难,往往失去了对数据的控制权。Security Lake可自动化日志摄取、索引和转换至OCSF,消除了手动操作,并提供了对存储于S3存储桶中的规范化数据的直接访问权限。生成式人工智能工具能够利用这种标准化数据构建自定义应用程序、仪表板和虚拟安全助理,支持自然语言查询和自动响应操作。演讲者强调将Security Lake集中的数据与生成式人工智能功能相结合的强大作用,使组织能够提高安全态势,降低风险,并通过直观的可视化和自然语言交互获得更深入的洞察力。
发布于：北京市