0%

Database-Products

阅读更多

1 ClickHouse

类型:OLAP

特性:

  1. 列存
  2. 压缩性能高。由于列存,数据同质化,便于压缩,较易获得较高的压缩比
  3. 多核并行处理
  4. MPP架构
  5. 支持ANSI SQL标准
  6. 向量化。数据按列组织,具有较好的空间局部性,对Cache友好,向量化效果好
  7. 支持数据实时写入
  8. 索引
  9. 支持在线查询
  10. 不支持事务

架构:

主页:

2 Delta

类型:Data Lake

特性:

  1. 基于Spark上的ACID事务:可序列化的隔离级别确保读者永远不会看到不一致的数据
  2. 可扩展的元数据处理:利用Spark分布式处理能力轻松处理具有数十亿文件的PB级表的所有元数据
  3. 流和批处理统一
  4. Schema enforcement:自动处理Schema的变化,以防止在变更过程冲插入异常记录
  5. Time travel:数据版本控制支持回滚、完整的历史审计跟踪
  6. UpsertsDeletes:支持合并、更新和删除操作,以启用复杂的用例

架构:

主页:

3 Doris

类型:OLAP

特性:

架构:

主页:

4 Druid

类型:OLAP

特性:

  1. 列存储架构
  2. 可扩展的分布式架构
  3. MPP架构
  4. 支持实时和批处理
  5. 具有自动异常恢复、自动负载均衡等能力,运维简单
  6. 云原生
  7. 使用bitmap索引来加速数据过滤
  8. 支持数据分区,默认以时间分区
  9. 支持近似算法,比如近似计算count-discount等,用于应对一些正确性不敏感,但是时间敏感的场景
  10. 在查询数据时进行自动汇总,以提高效率

架构:

主页:

5 Gbase

类型:OLAP

特性:

架构:

主页:

6 GreenPlum

类型:OLAP

特性:

  1. 先进的基于开销的优化器(Cost-Based Optimizer, CBO
  2. MPP架构
  3. 基于PostgreSQL 9.4
  4. Append-optimized storage
  5. 列存
  6. 执行引擎采用火山模型(Volcano-style

架构:

主页:

7 Hadoop

包含三大组件:

  1. HDFS:存储
  2. MapReduce:计算
  3. YARN:调度

类型:Framework

特性:

架构:

主页:

8 Hawq

类型:OLAP

特性:

  1. 支持SQL-92SQL-99SQL-2003OLAP extension
  2. Hadoop SQL engines
  3. 优秀的并行优化器
  4. 完整的事务支持
  5. 基于UDP的流引擎
  6. 弹性执行引擎
  7. 支持多级分区和基于列表/范围的分区表
  8. 支持多种压缩算法
  9. 支持多用语言的UDF,包括:PythonPerlJavaC/C++R
  10. 易接入其他数据源
  11. Hadoop Native
  12. 支持标准链接,包括JDBC/ODBC

架构:

主页:

9 HBase

类型:NoSQL/Storage

特性:

  1. 线性和模块化的可扩展性
  2. 强一致性的读写
  3. 自动和可配置的表分片
  4. 自动异常恢复
  5. 面向Java的连接器
  6. 通过Block Cache以及布隆过滤器支持实时查询

架构:

主页:

10 Hive

类型:OLAP

特性:

  1. 通过SQL访问管理数据,hive会将其转换成数仓的任务,例如提取/转换/加载(extract/transform/load, ETL)、报告和数据分析
  2. 支持多种数据格式
  3. 支持HDFSHBase等存储层
  4. 执行引擎通过Apache TezApache SparkMapReduce等系统来完成具体的操作
  5. 通过Hive LLAPApache YARNApache Slider进行亚秒级查询检索。

架构:

主页:

11 Hudi

类型:Data Lake

特性:

  1. 更新、删除性能好,索引插件化
  2. 事务、回滚、并发控制
  3. 自动调整文件大小、数据集群、压缩、清理
  4. 用于可扩展存储访问的内置元数据跟踪
  5. 增量查询,记录级别更改流
  6. 支持多种数据源,包括SparkPrestoTrinoHive

架构:

主页:

12 Iceberg

类型:Data Lake

特性:

架构:

主页:

13 Impala

类型:OLAP

特性:

  1. 支持SQL
  2. 支持在Hadoop上查询大量数据
  3. 分布式架构
  4. 无需复制或导出/导入步骤即可在不同组件之间共享数据文件;例如,用Pig编写,用Hive转换,用Impala查询。Impala可以读取和写入Hive表,从而使用Impala实现简单的数据交换,以分析Hive生成的数据
  5. 用于大数据处理和分析的单一系统,因此客户可以避免仅用于分析的昂贵建模和ETL

架构:

主页:

14 Kudu

类型:Columnar Storage

特性:

  1. 能快速处理OLAP的工作负载
  2. MapReduceSpark和其他Hadoop生态系统组件集成较好
  3. Apache Impala高度集成
  4. 强大但灵活的一致性模型,允许基于每个请求选择不同的一致性模型,包括严格序列化一致性的选项
  5. 同时支持顺序和随机的工作负载,且性能较好
  6. 便于管理
  7. 高可用
  8. 结构化的数据模型

架构:

主页:

15 Kylin

类型:OLAP

特性:

  1. Hadoop提供标准SQL支持大部分查询功能
  2. 多维体立方
  3. 实时多维分析
  4. BI工具无缝整合,包括TableauPowerBI/ExcelMSTRQlikSenseHueSuperSet

架构:

  • kylin_architecture

主页:

16 Pinot

类型:OLAP

特性:

  1. 列存
  2. 索引插件化,支持包括Sorted IndexBitmap IndexInverted IndexStarTree IndexBloom FilterRange IndexText Search Index(Lucence/FST)Json IndexGeospatial Index
  3. 可以基于元数据进行查询优化
  4. 支持从KafkaKinesis中实时获取数据
  5. 支持从HadoopS3AzureGCS中批量获取数据
  6. 提供类似于SQL的语言,用于聚合、过滤、分组、排序等操作
  7. 易于水平扩展,容错性好

架构:

主页:

17 PostgreSQL

类型:OLAP

特性:

架构:

主页:

其他:

18 Presto

类型:OLAP

特性:

  1. 支持就地分析(In-place analysis)。直接对接数据源,包括HiveCassandraRelational Databases甚至是专有数据存储
  2. 允许单个查询的数据来自不同的数据源

架构:

主页:

19 Starrocks

类型:OLAP

特性:

  1. MPP架构
  2. 架构精简,不依赖外部系统
  3. 全面向量化引擎
  4. 只能查询分析
  5. 联邦查询
  6. 物化视图
  7. 兼容mysql协议

架构:

主页:

20 Snowflake

类型:OLAP

特性:

  1. 数据安全
  2. 支持标准以及扩展SQL
  3. 大量的工具
  4. 面向各类语言的连接器,包括PythonSparkNode.jsGo.NETJDBCODBCPHP等等

架构:

主页:

21 Spark

类型:Analytics EngineAlternative to MapReduce

特性:

  1. 支持流批
  2. 支持ANSI SQL

架构:

  • spark_ecology

主页:

22 TiDB

类型:OLTP

特性:

  1. 一键水平扩容或者缩容
  2. 金融级高可用
  3. 实时HTAP
  4. 云原生的分布式数据库
  5. 兼容MySQL 5.7协议和MySQL生态

架构:

主页:

23 Trino

类型:

特性:

  1. 并行化、分布式的查询引擎,查询速度快
  2. 兼容ANSI SQL,与BI工具集成较好,包括RTablauPower BISuperset
  3. 支持多种工作负载,包括实时分析、批处理、亚秒级查询
  4. 支持就地分析(In-place analysis)。直接对接数据源,包括HadoopS3CassandraMySQL
  5. 允许单个查询的数据来自不同的数据源
  6. 支持云原生

架构:

主页:

24 Vertica

类型:OLAP

特性:

架构:

主页:

25 TODO

  1. mysql
  2. sqlite
  3. duckdb
  4. Zilliz
    • 向量数据库

26 参考