Liuye Notebook
0%

DBMS-Products

发表于 更新于 分类于 阅读次数： Valine：

阅读更多

1 ClickHouse

类型：OLAP

特性：

  1. 列存
  2. 压缩性能高。由于列存，数据同质化，便于压缩，较易获得较高的压缩比
  3. 多核并行处理
  4. MPP架构
  5. 支持ANSI SQL标准
  6. 向量化。数据按列组织，具有较好的空间局部性，对Cache友好，向量化效果好
  7. 支持数据实时写入
  8. 索引
  9. 支持在线查询
  10. 不支持事务

架构：

主页：

博客&文章：

2 ByteHouse

Forked from ClickHouse

类型：OLAP

主页：

3 Delta

类型：Data Lake

特性：

  1. 基于Spark上的ACID事务：可序列化的隔离级别确保读者永远不会看到不一致的数据
  2. 可扩展的元数据处理：利用Spark分布式处理能力轻松处理具有数十亿文件的PB级表的所有元数据
  3. 流和批处理统一
  4. Schema enforcement：自动处理Schema的变化，以防止在变更过程冲插入异常记录
  5. Time travel：数据版本控制支持回滚、完整的历史审计跟踪
  6. Upserts和Deletes：支持合并、更新和删除操作，以启用复杂的用例

架构：

主页：

4 Doris

类型：OLAP

特性：

架构：

主页：

5 Druid

类型：OLAP

特性：

  1. 列存储架构
  2. 可扩展的分布式架构
  3. MPP架构
  4. 支持实时和批处理
  5. 具有自动异常恢复、自动负载均衡等能力，运维简单
  6. 云原生
  7. 使用bitmap索引来加速数据过滤
  8. 支持数据分区，默认以时间分区
  9. 支持近似算法，比如近似计算count-discount等，用于应对一些正确性不敏感，但是时间敏感的场景
  10. 在查询数据时进行自动汇总，以提高效率

架构：

主页：

6 DuckDB

类型：OLAP

特性：

  • High Speed
  • Columnar Storage
  • Compatibility
  • Embeddable
  • Low Memory Footprint
  • Analytical Capabilities
  • Open Source

架构：

主页：

博客&文章：

7 Gbase

类型：OLAP

特性：

架构：

主页：

8 GreenPlum

类型：OLAP

特性：

  1. 先进的基于开销的优化器（Cost-Based Optimizer, CBO）
  2. MPP架构
  3. 基于PostgreSQL 9.4
  4. Append-optimized storage
  5. 列存
  6. 执行引擎采用火山模型（Volcano-style）

架构：

主页：

9 Hadoop

包含三大组件：

  1. HDFS：存储
  2. MapReduce：计算
  3. YARN：调度

类型：Framework

特性：

架构：

主页：

10 Hawq

类型：OLAP

特性：

  1. 支持SQL-92、SQL-99、SQL-2003、OLAP extension
  2. 比Hadoop SQL engines快
  3. 优秀的并行优化器
  4. 完整的事务支持
  5. 基于UDP的流引擎
  6. 弹性执行引擎
  7. 支持多级分区和基于列表/范围的分区表
  8. 支持多种压缩算法
  9. 支持多用语言的UDF，包括：Python、Perl、Java、C/C++、R
  10. 易接入其他数据源
  11. Hadoop Native
  12. 支持标准链接，包括JDBC/ODBC

架构：

主页：

11 HBase

类型：NoSQL/Storage

特性：

  1. 线性和模块化的可扩展性
  2. 强一致性的读写
  3. 自动和可配置的表分片
  4. 自动异常恢复
  5. 面向Java的连接器
  6. 通过Block Cache以及布隆过滤器支持实时查询

架构：

主页：

12 Hive

类型：OLAP

特性：

  1. 通过SQL访问管理数据，hive会将其转换成数仓的任务，例如提取/转换/加载（extract/transform/load, ETL）、报告和数据分析
  2. 支持多种数据格式
  3. 支持HDFS、HBase等存储层
  4. 执行引擎通过Apache Tez、Apache Spark、MapReduce等系统来完成具体的操作
  5. 通过Hive LLAP、Apache YARN和Apache Slider进行亚秒级查询检索。

架构：

主页：

13 Hudi

类型：Data Lake

特性：

  1. 更新、删除性能好，索引插件化
  2. 事务、回滚、并发控制
  3. 自动调整文件大小、数据集群、压缩、清理
  4. 用于可扩展存储访问的内置元数据跟踪
  5. 增量查询，记录级别更改流
  6. 支持多种数据源，包括Spark、Presto、Trino、Hive

架构：

主页：

14 Iceberg

类型：Data Lake

特性：

架构：

主页：

15 Impala

类型：OLAP

特性：

  1. 支持SQL
  2. 支持在Hadoop上查询大量数据
  3. 分布式架构
  4. 无需复制或导出/导入步骤即可在不同组件之间共享数据文件；例如，用Pig编写，用Hive转换，用Impala查询。Impala可以读取和写入Hive表，从而使用Impala实现简单的数据交换，以分析Hive生成的数据
  5. 用于大数据处理和分析的单一系统，因此客户可以避免仅用于分析的昂贵建模和ETL

架构：

主页：

16 Kudu

类型：Columnar Storage

特性：

  1. 能快速处理OLAP的工作负载
  2. 与MapReduce、Spark和其他Hadoop生态系统组件集成较好
  3. 与Apache Impala高度集成
  4. 强大但灵活的一致性模型，允许基于每个请求选择不同的一致性模型，包括严格序列化一致性的选项
  5. 同时支持顺序和随机的工作负载，且性能较好
  6. 便于管理
  7. 高可用
  8. 结构化的数据模型

架构：

主页：

17 Kylin

类型：OLAP

特性：

  1. 为Hadoop提供标准SQL支持大部分查询功能
  2. 多维体立方
  3. 实时多维分析
  4. 与BI工具无缝整合，包括Tableau，PowerBI/Excel，MSTR，QlikSense，Hue和 SuperSet

架构：

  • kylin_architecture

主页：

18 Pinot

类型：OLAP

特性：

  1. 列存
  2. 索引插件化，支持包括Sorted Index、Bitmap Index、Inverted Index、StarTree Index、Bloom Filter、Range Index、Text Search Index(Lucence/FST)、Json Index、Geospatial Index
  3. 可以基于元数据进行查询优化
  4. 支持从Kafka、Kinesis中实时获取数据
  5. 支持从Hadoop、S3、Azure、GCS中批量获取数据
  6. 提供类似于SQL的语言，用于聚合、过滤、分组、排序等操作
  7. 易于水平扩展，容错性好

架构：

主页：

19 PostgreSQL

类型：OLAP

特性：

架构：

主页：

其他：

20 Presto

类型：OLAP

特性：

  1. 支持就地分析（In-place analysis）。直接对接数据源，包括Hive、Cassandra、Relational Databases甚至是专有数据存储
  2. 允许单个查询的数据来自不同的数据源

架构：

主页：

21 Starrocks

类型：OLAP

特性：

  1. MPP架构
  2. 架构精简，不依赖外部系统
  3. 全面向量化引擎
  4. 只能查询分析
  5. 联邦查询
  6. 物化视图
  7. 兼容mysql协议

架构：

主页：

博客&文章：

22 Snowflake

类型：OLAP

特性：

  1. 数据安全
  2. 支持标准以及扩展SQL
  3. 大量的工具
  4. 面向各类语言的连接器，包括Python、Spark、Node.js、Go、.NET、JDBC、ODBC、PHP等等

架构：

主页：

23 Spark

类型：Analytics Engine（Alternative to MapReduce）

特性：

  1. 支持流批
  2. 支持ANSI SQL

架构：

  • spark_ecology

主页：

24 TiDB

类型：OLTP

特性：

  1. 一键水平扩容或者缩容
  2. 金融级高可用
  3. 实时HTAP
  4. 云原生的分布式数据库
  5. 兼容MySQL 5.7协议和MySQL生态

架构：

主页：

25 Trino

Trino is forked from Presto

类型：OLAP

特性：

  1. 并行化、分布式的查询引擎，查询速度快
  2. 兼容ANSI SQL，与BI工具集成较好，包括R、Tablau、Power BI、Superset
  3. 支持多种工作负载，包括实时分析、批处理、亚秒级查询
  4. 支持就地分析（In-place analysis）。直接对接数据源，包括Hadoop、S3、Cassandra、MySQL等
  5. 允许单个查询的数据来自不同的数据源
  6. 支持云原生

架构：

主页：

博客&文章：

26 Vertica

类型：OLAP

特性：

架构：

主页：

27 VikingDB

类型：Graph/Vector

特性：

架构：

主页：

28 Relations

  1. Databricks: Spark 团队成员组建的商业化公司
  2. Trino: 基于 Presto

29 TODO

  1. mysql
  2. sqlite
  3. Zilliz
    • 向量数据库
  4. ksqlDB
  5. Rockset
  6. Databend
  7. Umbra
  8. paimon

30 参考