OpenSearch 技术调研：架构原理与搜索场景分析一、OpenSearch 平台概述 OpenSearch 是一个组件家族，而非单一产品（来源：OpenSearch Platform 官方文档；Wikipedia: OpenSearch）：OpenSearch 平台组成: ├── OpenSearch (核心引擎) ← 分布式搜索和分析引擎 ├── OpenSearch Dashboards ← 可视化和管理界面 ├── Data Prepper ← 独立的数据摄入/转换/路由管道 ├── Benchmark 工具 ← 性能测试框架 └── 插件生态系统 ← ML Commons, Security, Alerting 等 平台 vs 单一数据库（来源：IBM: What is OpenSearch；AWS: What is OpenSearch）： | 维度 | 单一数据库 | OpenSearch 平台 | | --- | ----- | ------------------------- | | 组件 | 一个进程 | 多个独立组件可单独部署 | | 功能 | 存储+查询 | 搜索 + 可观测性 + 安全分析 + ML | | 扩展性 | 有限 | 插件 API 可扩展 Dashboards 和引擎 | | 数据流 | 直接写入 | Data Prepper 管道预处理后写入 | Data Prepper 是独立组件（来源：Data Prepper 官方文档）：不是 OpenSearch 的插件，而是独立进程支持 source → buffer → processor → sink 管道模式可以不依赖 OpenSearch 单独运行（如转发到其他系统） 这种设计让 OpenSearch 能够支撑多种场景（搜索、日志、可观测性、SIEM），而不仅仅是一个搜索数据库。二、发展历史2.1 时间线 | 时间 | 事件 | 来源 | | ---------- | ------------------------------------------------------------------------------- | ----------------------------- | | 2021-01 | Elastic 将 Elasticsearch/Kibana 许可证从 Apache 2.0 改为 SSPL + Elastic License 2.0 | Elastic Licensing FAQ | | 2021-04 | AWS 宣布 fork Elasticsearch 7.10，创建 OpenSearch 项目 | AWS: What is OpenSearch | | 2021-07-12 | OpenSearch 1.0 GA 发布 | OpenSearch Release Schedule | | 2022-05-26 | OpenSearch 2.0 GA 发布（引入 Segment Replication） | OpenSearch Release Schedule | | 2024-09-16 | AWS 将 OpenSearch 转移至 Linux Foundation，成立 OpenSearch Software Foundation | Linux Foundation 公告 | | 2024-11 | IBM 加入基金会董事会 | OpenSearch Foundation 周年公告 | | 2025-04-29 | OpenSearch 3.0 Beta 发布（Concurrent Segment Search 默认开启） | OpenSearch Release Schedule | | 2025-09 | 基金会成立一周年，下载量同比增长 78%，技术指导委员会 15 人（AWS, IBM, ByteDance, Salesforce, SAP, Uber 等） | OpenSearch Foundation 周年公告 | | 2025-12-16 | OpenSearch 3.4.0 发布 | OpenSearch Version History |2.2 版本演进重点 | 版本 | 关键特性 | 来源 | | --- | ---------- | --- | | 1.x | 基础功能，兼容 ES 7.10 API | OpenSearch Version History | | 2.x | Segment Replication, Remote Store, k-NN 增强 | Segment Replication 文档；Remote Store 文档；Multi-Vector…