设置DataHub

DataHub像一个集中式收集器一样,可帮助您防止敏感数据离开环境。如果您的组织想要保护私有数据,例如个人身份信息(PII),则可以设置过滤规则。例如,如果您的组织有信用卡信息,用户名,电子邮件地址,或者甚至特定条目,例如信息级别消息,则要使您想要混淆,DataHub可以帮助您。

DataHub将路由规则应用于聚合数据,然后擦洗和删除敏感信息,使其不被发送到InsightOps。信息不会被暴露,您仍然可以在其上运行分析函数。

要设置DataHub,您需要:

  1. 下载并安装DataHub。
  2. 创建路由规则。
  3. 配置客户端以发送数据通过DataHub到您的Insightops帐户。

在Linux上安装

datahub可以在云中的服务器实例上运行,也可以在内部环境中运行。目前,Linux系统仅支持DataHub。

在Linux上设置DataHub:

  1. 在InsightOps的左侧菜单中,选择数据收集
  2. 点击管理DataHub.打开“管理DataHub路由”页面。
  3. 点击在Linux上设置DataHub按钮。会出现一个侧面板,显示在Linux上安装DataHub的说明。使用说明中提供的链接下载安装程序。
  4. 在您的Ubuntu或Debian系统上运行sudo apt-get更新;sudo apt-get升级更新和升级您的系统。
  5. 运行sudo apt-get安装OpenJDK-8-JRE如果系统中没有openjdk-8-jre,则需要安装。
  6. 运行sudo dpkg -i DataHub_2.0.deb安装DataHub组件。
  7. 运行sudo vi /etc/datahub/datahub.config打开datahub.config文件在VI编辑器中。
  8. 将以下参数添加到datahub.config文件:API_KEY“:”读/写API键“.要获取读/写密钥,请执行设置> API密钥
  9. 运行: wq保存更改。

非欧盟账户的额外步骤

修改需要在datahublocal.config.文件。

将REGION替换为您各自的区域。以下区域可用:

美国:美国:欧盟:欧洲CA:加拿大AU:澳大利亚AP:日本

          
json
1
2
“设置”
3.
“api_url”“https://region.rest.logs.Insight.Rapid7.com”
4
“api_url_log”“https://REGION.rest.logs.insight.rapid7.com/management/logs”
5
“主持人”“REGION.data.logs.insight.rapid7.com”
6
“api_url_logset”“https://REGION.rest.logs.insight.rapid7.com/management/logsets”
7
“api_url_rule”“https://REGION.rest.logs.insight.rapid7.com/datahub/rules”
8
9

创建路由规则

路由规则允许您查找匹配某些模式或值并将其路由到特定日志和日志集的日志条目。您可以通过定义要匹配的模式以及要将该数据发送到的日志来配置路由规则。

设置DataHub后,您将能够访问“管理路由规则”区域以创建和查看规则。第一次设置DataHub时,将有规则,称为“默认值”。此规则将通过datahub将所有收集的日志数据路由到名为“默认值”的日志。

要创建路由规则:

  1. 在InsightOps的左侧菜单中,选择管理数据的路线
  2. 点击添加路线按钮。
  1. 当。。。的时候添加路线显示面板,输入规则的名称。
  2. 使用以下参数创建规则:
    • 线路名称:任何表示路由名称的通用字符串。
    • 路线描述:任何表示路由描述的通用字符串。
    • syslog hostname:如果需要,可以根据主机名划分到特定日志的路由。输入主机名,例如邮件服务器。
    • Syslog标签:如果需要,您可以根据进程突发到特定日志的路由。输入进程名称,例如SSHD。
    • 匹配模式:模式DataHub用于将日志条目匹配到放置到定义的日志文件中。要从特定主机转发所有日志,请使用“。*”。
    • 日志名称和目的日志集:指定要加载所有日志项的位置。
  3. 创建路线。它将在创建之后出现在路由表中。

配置客户端

Insightops代理以及Syslog客户端可以通过DataHub进行通信。对于代理,您需要提供DataHub使用的IP或主机名和端口。

对于Syslog客户端,您需要指定IP或主机名以及文件。

配置Syslog客户端:

  1. 运行# / sbin / ifconfig查找查找datahub服务器的IP地址。
  2. 在每个客户端的/etc/rsyslog.conf文件中添加如下代码:*。* @@ :10000
  3. 运行sudo service rsyslog重新启动重启rsyslog守护进程。
  4. 运行logger -t test from InsightOps测试集成。

查看健康和调试日志

默认情况下,DataHub会将额外数据记录到您的Insightops帐户。

新增数据如下:

  • datahub.log:可用于调试任何运行问题的DataHub日志。它总是可以帮助您跟上当前版本的DataHub。你可以登录/var/log/datahub/datahub.log
  • Heartbeat.log:Heartbeat日志是每5分钟发送到DataHub的一次健康检查。它将向您的日志发布一条简单的消息,让您知道DataHub当前正在进行日志记录。有了这个特性,您可以使用非活动警报让您知道何时DataHub不再向insighttops发送日志。