🎯 本专题内容#

本专题专注于 OpenSearch 生态中的日志采集方案，涵盖从采集工具选型、配置实践、ECS 标准化到数据流落地的完整流程。

📚 实战案例#

从零构建 Logstash 日志监控闭环：Fluent Bit 旁路采集与 ECS 规范化落地

通过 Fluent Bit 旁路采集 Logstash 自身日志，利用 OpenSearch Ingest Pipeline 对齐 ECS 规范，最终落地于 Data Stream 架构的完整实践。

🔑 核心知识点#

• 采集架构设计：旁路采集 vs 代理采集、单向采集原则
• Fluent Bit：Tail 输入、JSON 解析、Modify/Nest 过滤器、OpenSearch 输出
• Logstash 配置：JSON 格式日志输出、慢日志配置
• ECS 标准化：Elastic Common Schema 字段规范、Ingest Pipeline 字段重映射
• Data Stream：数据流架构、Backing Index、自动匹配索引模板
• ISM 生命周期：Hot/Warm/Cold/Delete 阶段管理、Rollover 策略

🛠️ 前置知识#

在学习本专题内容之前，建议了解：

• Linux 系统管理基础（Ubuntu/CentOS）
• JSON 数据结构与日志格式
• OpenSearch 基础概念（索引、Pipeline、Data Stream）
• 基本的命令行操作技能

🔗 相关链接#

Fluent Bit 官网 ｜ Logstash 文档 ｜ ECS 规范 ｜ OpenSearch Data Stream