日志数据收集和存储

配置基本事件源后，采集器会在接收数据时自动开始规范化和分析数据。事件处理后，数据将填充各种页面、仪表板、小部件和关键性能指标（KPI）。InsightIDR不接收或分析来自事件源的历史数据。

在完成环境审计并准备在您的环境中部署InsightIDR时，请记住以下几点:

• 日志数据存储保留
• 原始数据处理
• 标准化日志
• 收集日志前的准备
• S3存档
• 按事件源类别收集的数据

日志数据存储保留

InsightIDR将您的日志存储13个月，以便用于日志搜索、可视化和调查。默认情况下，您有3个月的“热”存储和10个月的“冷”存储。热存储数据在日志搜索中立即可用。冷库数据被访问的频率较低，因此搜索结果可能需要更长的时间来显示。搜索冷存储数据时的等待时间取决于数据的旧程度和请求的日志量。看到我们的冷藏的日志关于如何从冷库导入日志的说明文档。

Rapid7不会存储超过13个月的数据。如果您不升级数据保留计划，您的日志数据将不再可访问。如果您需要更长的保留时间，请联系您的客户成功经理，为您的业务和遵从性需求定制一个计划。你也可以使S3存档在InsightIDR中存储日志数据到自己的AWS S3桶中。对于可以存储的数据量，InsightIDR没有任何其他限制。在这里阅读更多关于数据存储的信息:https://www.rapid7.com/globalassets/_pdfs/product-and-service-briefs/rapid7-insightidr-log-storage-and-retention-brief.pdf/

原始数据处理

InsightIDR在为用户属性分析和规范化数据之前，会在主页上填充事件处理KPI。您可以单击这些KPI以查看更细粒度的数据并查询收集的日志数据。

然后将原始数据解析并规范化为用户属性数据。

标准化日志

InsightIDR将原始数据转换或规范化为JSON，以提供关于用户行为、被泄露的凭据和其他潜在恶意活动的附加上下文。

规范化将来自多个源的日志数据转换为通用JSON格式，并提取标准信息，如主机名、时间戳、错误级别等。它还允许您在端点日志上运行高级查询，并增强数据可视化。看见日志搜索为更多的信息。

规范化之后，InsightIDR在称为“用户属性”的过程中将单个资产和用户之间的数据关联起来。

未解析日志

当将数据从您的环境发送到InsightIDR时，您可以选择发送未解析的日志，其中包括所有可用的信息，并且不会省略任何不需要的信息。默认情况下，InsightIDR对防火墙日志应用过滤器，只保留与用户属性相关的事件，丢弃其他事件。

看见过滤事件源为更多的信息。

若要删除此过滤器，请在配置事件源时勾选“未解析日志”框。注意，发送未解析的日志将增加发送到InsightIDR的数据量。

收集日志前的准备

因为大多数事件源应用程序都以syslog的形式发送数据，所以必须配置每个设备，以便在唯一的TCP或UDP端口上将数据发送到收集器。

看见收集器要求查看采集器端口的详细信息。否则,看到InsightIDR使用的端口．

时区

在配置事件源时，重要的是选择与发送数据的应用程序的时区相匹配的时间，该时间通常与应用程序的物理位置相匹配，或者设置为UTC。

检查日志的时间戳:

1. 选择数据收集页，并选择事件源选项卡。
2. 找到事件源并单击查看原始日志链接。

3. 如果需要修改时区或发现日志中没有时区，请单击编辑链接在正在运行的事件源上。
4. 从“时区”下拉框中选择正确的时区。
5. 单击保存按钮。

S3存档

S3归档将您的InsightIDR日志发送到AWS S3归档。这样可以确保将日志条目保留为备份。

看见S3存档为更多的信息。

按事件源类别收集的数据

InsightIDR使用多个事件源来收集数据，以保护您的环境，并帮助您快速检测和响应网络上的恶意活动。下表显示了特定事件源收集的分类信息:

收集的数据	事件源
用户详细信息	Microsoft Active Directory、LDAP服务器日志、Rapid7 Metasploit、病毒扫描程序、VPN和端点监视器
资产详细信息	Microsoft Active Directory安全日志和DHCP服务器日志、公开和端点监视器
IP地址历史	Microsoft Active Directory安全日志、DHCP服务器日志
位置	VPN服务器日志、例如云服务、云服务（例如AWS、Box.com）和Microsoft ActiveSync
服务	DNS服务器日志，防火墙，Web代理，云服务- Box.com, Okta, Salesforce，和微软ActiveSync服务器
事件	Microsoft Active Directory安全日志、DHCP服务器日志、端点监控、VPN服务器(IP地址范围)、DNS服务器日志、防火墙、Web代理
威胁	DNS服务器日志、防火墙和Web代理

活动目录

收集器从Active Directory事件源提取以下字段:

• 时间戳
• 行动
• 源用户
• 源帐户
• 目标用户
• 目标客户
• 集团
• 集团范围内
• 组域

高级恶意软件检测

收集器从高级恶意软件检测事件源提取以下字段：

• 时间戳
• 资产
• 二级资产
• 目标用户
• 源用户
• 源地址
• 目的地址
• 警报的名字
• 源端口
• 目的港
• 设备地址
• 协议
• 签名的名字
• 严重程度
• GEOIP组织
• GEOIP国家代码
• GEOIP的国家名称
• GEOIP的城市
• GEOIP地区

资产的身份验证

收集器从资产身份验证事件源提取以下字段:

• 时间戳
• 资产来源
• 目标资产
• 资产来源地址
• 目标资产地址
• 目标用户
• 目标帐户
• 目的域
• 目标帐户SID
• 登录类型
• 结果
• 新的身份验证
• 新源认证
• 新账户来源
• 服务

云服务管理员活动

收集器从云服务管理员活动事件源提取以下字段：

• 时间戳
• 服务
• 行动
• 源用户
• 源帐户
• 目标用户
• 目标客户

DNS

收集器从DNS事件源提取以下字段：

• 时间戳
• 资产
• 用户
• 源地址
• 查询
• 公共后缀
• 顶级私人领域

文件访问活动

收集器从文件访问活动事件源中提取以下字段:

• 时间戳
• 用户
• 账户
• 帐户域
• 源地址
• 服务
• 目标地址
• 文件路径
• 文件名称
• 文件扩展名
• 文件共享
• 访问类型

防火墙的活动

收集器从防火墙活动事件源提取以下字段:

• 时间戳
• 资产
• 用户
• 源地址
• 源端口
• 目的地址
• 目的港
• 连接状态
• 方向
• GEOIP组织
• GEOIP国家代码
• GEOIP的国家名称
• GEOIP的城市
• GEOIP地区

主持IP观察

Collector从Host到IP Observation事件源提取以下字段:

• 时间戳
• 行动
• HostID
• 知识产权
• 观察状态

IDS警报

收集器从IDS警报事件源提取以下字段：

• 时间戳
• 资产
• 用户
• 签名
• 源IP
• 目的地
• 描述
• 严重程度
• 协议
• 发电机ID
• 源端口
• 目的港

进入认证(OWA / ActiveSync)

Collector从Ingress Authentication (OWA/ActiveSync)事件源中提取以下字段:

• 时间戳
• 用户
• 账户
• 结果
• 源IP
• 服务
• GEOIP组织
• GEOIP国家代码
• GEOIP的国家名称
• GEOIP的城市
• GEOIP地区

原始日志(通用Syslog和Windows事件日志)

收集器从原始日志（通用系统日志和Windows事件日志）事件源提取以下字段：

• 时间戳
• 主机名
• 事件代码
• 描述
• 包名
• 目标用户名
• 工作站
• 地位

SSO身份验证

收集器从SSO身份验证事件源提取以下字段：

• 时间戳
• 用户
• 账户
• 源IP
• 服务
• SSO提供者
• GEOIP组织
• GEOIP国家代码
• GEOIP的国家名称
• GEOIP的城市
• GEOIP地区

病毒警报

收集器从病毒警报事件源提取以下字段:

• 时间戳
• 资产
• 用户
• 帐户域
• 风险
• 行动