Logstash 官方版 v7.11.1

软件介绍

Logstash是一款数据处理引擎，最初用于收集志，现在功能已经很丰富，可以帮助用户收集不同来源的数据，可以将数据转换到您的，软件提供了多种配置方案，可以设置数据输入方式，可以设置数据输出存储方式，可以，使您可以更轻松地管理随时间变化的配置更新；该软件功能很丰富，可以根据Logstash事件将指标，注释和警报发送到Librato，可以根据预先配置的服务和升级策略发送，可以将Logstash事件发送到Amazon Simple Storage Service，快速从多个终端采集数据，将数据转换到指定的存储端保存！

Logstash软件功能

采集，还有更多

输入、过滤器和输出

Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Gk 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。

输入

采集各种样式、大小和来源的数据

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择，可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

筛选

实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行更强大的分析和实现商业价值。

Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响：

利用 Gk 从非结构化数据中派生出结构

从 IP 地址破译出地理坐标

将 PII 数据匿名化，完全排除敏感字段

简化整体处理，不受数据源、格式或架构的影响

使用我们丰富的过滤器库和功能多样的 Elastic Common Schema，您可以实现无限丰富的可能。

输出

选择您的存储库，导出您的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。

Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

可扩展

以您自己的方式创建和配置管道Logstash 采用可插拔框架，拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排，让它们在管道中和谐地运行。

从自定义应用程序采集数据？没有看到所需的插件？Logstash 插件很容易构建。我们有一个极好的插件开发 API 和插件生成器，可帮助您开始创作并分享成果。

Logstash软件特色

即插即用

使用 Elastic Stack 更快获得洞察

Logstash 模块通过热门的数据源（如 ArcSight 和 Netflow ）呈现瞬间可视化的体验。通过立即部署采集管道和复杂的仪表板，您在短短几分钟内便可开始数据探索。

构建可信的交付管道

假如 Logstash 节点发生故障，Logstash 会通过持久化队列来保证至少将运行中的事件送达一次。那些未被正常处理的消息会被送往死信队列 (dead letter queue) 以便做进一步处理。由于具备了这种吸收吞吐量的能力，现在您无需采用额外的队列层，Logstash 就能平稳度过高峰期。此外，我们还能让您充分确保自己采集管道的安全。

全方位监视您的部署

Logstash 管道通常服务于多种用途，会变得非常复杂，因此充分了解管道能、可用和瓶颈异常重要。借助监测和管道查看器功能，您可以轻松观察和研究处于活动状态的 Logstash 节点或整个部署。

使用单个 UI 集中管理部署

借助 Pipeline 管理图形界面 (UI) 来管理 Logstash 的部署，您可以轻而易举地编排和管理自己的管道。此外，此项管理功能也与内置 Secuty 功能无缝集成，用以避免任何意外作。

Logstash软件优势

Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到您选择的目标位置。清除所有数据并使其化，以用于各种高级下游分析和可视化用例。

虽然Logstash最初推动了志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过各种各样的输入，过滤器和输出插件来丰富和转换，许多本机编解码器进一步简化了提取过程。Logstash通过利用更大数量和更多种类的数据来加快您的见解。

Logstash的力量编辑Elasticsearch等的摄取主力

具有强大的Elasticsearch和Kibana协同功能的水平可扩展数据处理管道

可插拔管线架构

混合，匹配和编排不同的输入，过滤器和输出以协调管道

社区可扩展且对开发人员友好的插件生态系统

超过200个可用的插件，以及创建和贡献自己的灵活

志和指标

从哪里开始。

处理所有类型的志数据

轻松获取大量Web志（如Apache）和应用程序志（如log4j for Java）

捕获许多其他志格式，例如syslog，网络和防火墙志等

通过Filebeat享受补充的安全志转发功能

通过TCP和UDP 从Ganglia，collectd， NetFlow，JMX以及许多其他基结构和应用程序平台收集度量

网络

解锁万维网。

将HTTP请求转换为事件

从Twitter之类的网络服务中消费，以进行社会情感分析

Webhook对GitHub，HipChat，JIRA和无数其他应用程序的支持

启用许多Watcher警报用例

通过按需询HTTP端点来创建事件

从Web应用程序界面通用捕获运行状况，能，指标和其他类型的数据

非常适合于控制询优先于接收的情况

Logstash使用说明

使用Logstash解析志

在“存储第一个事件”中，您创建了一个基本的Logstash管道来测试Logstash设置。在现实世界中，Logstash管道要复杂一些：它通常具有一个或多个输入，过滤器和输出插件。

在本部分中，您将创建一个Logstash管道，该管道使用Filebeat来获取Apache Web志作为输入，解析这些志以从志中创建特定的命名字段，将解析的数据写入Elasticsearch集群。无需在命令行上定义管道配置，而是在配置文件中定义管道。

配置Filebeat以将志行发送到Logstash

在创建Logstash管道之前，将配置Filebeat以将志行发送到Logstash。该Filebeat客户端是一个轻量级的，资源友好的工具，从上的文件和转发这些志到您Logstash实例进行处理收集志。Filebeat专为可和低延迟而设计。Filebeat在主机上的资源占用很少，该Beats input插件使Logstash实例上的资源需求最小化。

Logstash的默认安装包括Beats input插件。Beats输入插件使Logstash可以从Elastic Beats框架接收事件，这意味着任何与Beats框架一起编写的Beat，例如Packetbeat和Metcbeat，也可以将事件数据发送到Logstash。

安装Filebeat之后，您需要对其进行配置。打开filebeat.yml位于Filebeat安装目录中的文件，用以下几行替换内容。确保paths指向logstash-tutoal.log您先前下载的示例Apache志文件 ：

Filebeat处理的文件的绝对路径。

保存您的更改。

为了简化配置，您将不会像在实际情况中那样指定TLS / SSL设置。

在数据源计算机上，使用以下命令运行Filebeat：

为Filebeat输入配置Logstash

接下来，创建一个使用Beats输入插件从Beats接收事件的Logstash配置管道。

以下文本表示配置管道的框架：

此框架无常工作，因为输入和输出部分未定义任何有效选项。

首先，将骨架配置管道复制并粘贴到first-pipeline.conf主Logstash目录中命名的文件中。

接下来，通过input在first-pipeline.conf文件部分添加以下行，将Logstash实例配置为使用Beats输入插件：

您将配置Logstash以在以后写入Elasticsearch。现在，您可以output将以下行添加到该部分，以便在运行Logstash时将输出打印到stdout：

完成后，的内容first-pipeline.conf应如下所示：

要验证您的配置，请运行以下命令：

该--config.test_and_exit选项解析您的配置文件并报告任何错误。

如果配置文件通过了配置测试，请使用以下命令启动Logstash：

该--config.reload.tomatic选项启用自动重新加载配置，因此您不必在每次修改配置文件时都停止并重新启动Logstash。

当Logstash启动时，您可能会看到有关Logstash忽略pipelines.yml文件的一则或多则警告消息。您可以放心地忽略此警告。该pipelines.yml文件用于 在单个Logstash实例中运行多个管道。对于此处显示的示例，您正在运行单个管道。

如果管道正常运行，则应该在控制台上看到一系列类似以下的事件：