自定义解析工具
自定义解析工具使您能够创建自定义解析规则，以提取与您的组织需求最相关的日志数据。使用自定义解析工具，您可以:
- 以InsightIDR不知道的格式解析日志，这允许您提取和监控InsightIDR不能自动提取的数据。
- 进一步解析日志条目，以包含默认情况下没有解析的附加字段。
例如，如果您正在使用电子健康记录(EHR)工具，则可能需要解析患者id、登录成功和失败以及EHR事件类型。有了这些数据，您就可以创建操作仪表板来跟踪对您的业务需求非常重要的数据。
构建自定义解析规则很简单。自定义解析器提供了一个接口，您可以使用该接口向InsightIDR显示您想从日志中提取的内容。根据您的输入，它会自动生成提取数据所需的模式。
关于自定义解析规则需要知道的事情
在构建自定义解析器时，需要记住以下几点:
- 一旦创建了解析规则，在日志搜索中显示已解析的数据之前，可能会有5-10分钟的延迟。
- 以前收集的数据将不会使用新的解析规则进行解析。只有实现解析规则后收集的数据才会使用它们进行解析。
- 解析规则可能会影响当前的仪表板。您需要检查筛选器，以评估解析规则将如何影响仪表板和警报。
- 对解析规则的编辑不向后应用。旧的日志将不会更新。将编辑的规则应用到新日志可能需要10分钟。
- 使用自定义解析规则解析的数据出现在Log Search中，日志行中有一个“custom_data”标记。如果您的数据没有出现在Log Search中，这可能表明您的解析规则有问题。有关详细信息，请参见故障排除部分。
- 对于复杂的日志条目，如果您为同一组条目创建多个解析规则，那么解析工具的工作效果最好。例如，如果您需要解析具有许多不同类型条目的日志条目。或者日志条目有很多字段的情况。
自定义解析器如何工作
自定义解析器应用于原始事件，原始事件是由事件源收集的文本行。当原始事件上传到Insight Cloud时，您的自定义解析规则将解析原始事件。要构建规则，您需要定义从日志行提取的值以及希望将它们映射到的值。使用自定义解析工具，您还可以规范化日志的结构，从而更容易找到您想要提取的字段。
构建自定义解析规则的步骤:
构建自定义解析规则
要构建规则，请定义从日志行提取的值以及要将它们映射到的值。
开始:
- 启动自定义解析工具。从左侧菜单中选择“日志搜索”，并选择自定义数据解析>创建自定义解析规则．
- 进入自定义解析工具后，完成任务1-5以构建自定义规则。
任务1:命名你的规则
您应该使用唯一且具有描述性的名称，以便稍后可以轻松地找到规则。例如，如果您想为您的防火墙日志创建解析规则，您可以输入“firewall Log 1”。
添加一个名字:
- 请输入唯一的名称。
- 点击下一个:选择日志．
任务2:选择日志
本任务包括选择日志和设置时间范围两个步骤。时间范围允许您预览特定范围的日志，其中包含您想要解析的字段。日志线从最老的到最新的显示，因此选择将生成最相关的数据抽样的时间范围是很重要的。在Task 4中，您将从这些日志行中提取字段。
选择日志:
- 下步骤1:登录选择要从中提取字段的日志。
- 下步骤2:日志行样本选择时间段。如果您没有看到任何示例数据，则可能需要增加所选择的时间范围。
- 点击接下来:创建一个过滤器．
任务3:创建一个过滤器
接下来，让我们确定是否需要创建筛选器。为此，请检查您的日志行结构:如果您的日志流有多种日志事件格式，请完成此步骤，以确保您的自定义解析规则仅适用于相关日志。但是，如果日志行是统一格式化的，则可以跳过此步骤，继续执行任务4:提取字段。
添加到自定义解析规则的筛选器将在解析传入日志之前应用于它们。例如，您有一个事件源，它在单个日志行中发送DNS、VPN和防火墙事件。您可以创建一个聚焦于防火墙事件的过滤器，从而增加对该层上发生的恶意活动的可见性。
创建过滤器:
- 输入要包含在筛选器中的值。
- 单击Apply。该过滤器将在该规则解析任何数据之前应用于该数据
- 点击下一个:提取字段．
任务4:从日志中提取字段
在此任务中，选择要从使用的日志中提取的数据引导模式，或使用Regex编辑器．引导模式是新解析规则的默认模式。
引导模式
提取字段:
- 突出显示要从示例日志中提取的数据。自定义解析工具将自动突出显示其他日志行中匹配的数据。在提取数据时，我们建议您不要包含括号或引号，因为这可能会使您以后搜索字段更加困难。
- 当您对所选数据感到满意时，单击验证．
- 命名您的字段，然后单击添加字段．
- 重复步骤1-3，直到您提取了想要包含在规则中的所有字段。您也可以切换到Regex Editor，使用正则表达式进一步定义解析规则。
- 点击接下来:批量应用规则．
Regex编辑器
使用Regex编辑器手动提取带有正则表达式的字段。可以使用编辑器完成整个字段提取过程，也可以在引导模式下开始，使用Regex编辑器对提取的字段进行微调。
在开始之前，请注意以下几点:
- Regex编辑器只支持RE2正则表达式。目前，不支持未命名的捕获组。
- 在引导模式下提取的字段将在Regex编辑器中显示为自动生成的正则表达式，格式可能与人工编写的正则表达式不同。
- 组名不能包含数字、特殊字符或空格。
- 如果您恢复到引导模式，您在Regex编辑器中所做的任何更改都将永久丢失。
提取字段:
- 在字段提取步骤中，单击在正则表达式编辑器中打开．
- 要定义要提取的字段，请在文本编辑器中键入正则表达式。
- 准备好后,单击应用．新提取的字段将显示在编辑器左侧的摘要部分的Extract fields下。在Sample Log Preview中，您还将看到查询提取的日志行部分上方的高亮显示。
- 点击接下来:批量应用规则．
使用正则表达式编辑器修改的规则不能恢复
如果使用Regex Editor修改或创建解析规则，然后保存它，则无法恢复到引导模式。如果要编辑使用Regex编辑器修改或创建的解析规则，必须使用Regex编辑器。
任务5:批量应用规则
您可以将新的自定义解析规则应用于其他日志。为此，请从建议日志列表中选择您的日志。
您必须选择与所创建的解析规则格式相同的日志。例如，如果您的示例日志是防火墙日志，您可以从这个列表中选择匹配的防火墙日志。
管理自定义解析规则
编辑解析规则
您可以编辑规则以考虑日志格式的更改、添加额外的字段或细化现有的字段选择。注意，编辑不能追溯应用于现有日志。将更改应用到新日志可能需要10分钟。
编辑解析规则:
- 进入“日志查询”界面，选择右上角的“自定义数据解析”，单击管理解析规则．
- 在“管理解析规则”页面中，找到要更新的规则，然后单击编辑图标。
查看所有解析规则
从左侧菜单中，选择“日志搜索”自定义数据解析>管理解析规则．的管理解析规则表格显示了所有的解析规则。
查看解析规则的提取字段
从左侧菜单中，选择“日志搜索”自定义数据解析>管理解析规则．的管理解析规则表格显示了所有的解析规则。
的提取的字段列显示每个解析规则提取的字段。
查看解析规则日志
从左侧菜单中，选择“日志搜索”自定义数据解析>管理解析规则．的管理解析规则表格显示了所有的解析规则。
的日志列显示解析规则应用于的日志。
删除解析规则
删除解析规则可能会影响使用其数据的仪表板、查询和自定义警报。请检查您的问题。删除解析规则后，无法恢复更改。
注意，一旦您删除了解析规则，新的传入数据将不被解析。先前解析的数据将保持解析状态。
删除解析规则。
- 从左侧菜单中，选择“日志搜索”自定义数据解析>管理解析规则．的管理解析规则表格显示了所有的解析规则。
- 找到要删除的解析规则并单击删除图标。
排除自定义解析规则的故障
下面是一些常见的场景以及如何解决它们。
我的解析器停止解析我的日志
如果自定义解析工具不再解析您的日志，最有可能的原因是传入的日志不再匹配您创建的解析规则，通常是因为对发送设备所做的更改更改了日志的格式。尽管您可能不知道设备正在更改，但供应商可能在产品升级期间更改了格式，或者管理员可能更改了日志记录配置。要解决这个问题，您应该创建与当前日志匹配的新解析规则。根据日志数据，您可能还希望删除旧的解析规则。
当我在自定义解析工具中测试解析规则时，它工作正常，但是在我保存规则后，我没有看到任何正在被解析的日志
您可能试图用一个解析规则提取过多的字段。与其使用一个解析规则来提取多个字段，不如尝试创建多个解析规则。
Regex Editor能够从我的日志中解析出一个或两个字段，但是当我试图为解析添加额外字段时，日志无法按预期解析
您可能需要创建多个规则来解析特定的日志。创建解析规则来为每个规则提取更少的字段，而不是尝试创建一个一次性解析所有字段的规则。