数据库介绍

SQL数据库

Oracle、MySQL、PostgreSQL、SQLite

NOSQL数据库

• 列式：HBase、Cassandra、ClickHouse

• 键值：Redis、Memcached

• 文档：MongoDB

• 时序：InfluxDB、Prometheus、Tdengine

• 搜索：Elasticsearch、solr

特点

数据库	特点	关系型数据库
Mysql	开源，流行。	是
Redis	内存，键值型数据库。
Elasticsearch	搜索引擎。
PostgreSQL	支持多数据类型，比如地理位置，json。	是
MongoDB	文档型数据库
Oracle	商用型，功能齐全。	是
Sqlserver	微软产品，Windows支持性好。	是
SqlLite	关系型数据库，轻量级的嵌入式关系型数据库。	是
Dameng	自主知识产权的国产数据库。	是
Clickhouse	高性能、MPP架构、列式存储、具有完备DBMS功能的OLAP数据库。	是
Hdfs	分布式文件系统
Hive	将结构化数据映射成一张表，分布式计算。
Hbase	分布式列存储系统。
IBM db2	商用型。	是
Doris	实时数仓。	是
Greenplum	MPP数据库	是
Iceberg	旨在解决大数据湖中数据表的管理和查询问题。
Influxdb	时序数据库，主要用于监控系统。
Kudu	列存储，OLAP
Kylin	多维数据分析，OLAP
Phoenix	SQL查询引擎，和Hadoop集成。
Presto	多数据源支持，SQL查询引擎。
HANA	大数据，内存计算平台。	是
Solr	搜索引擎
Spark	大数据ETL，微批处理。
Tdengine	大数据，时序数据库。
Tidb	OLAP，OLTP，大数据。	是
Trino	SQL查询引擎。
Vertica	数据湖支持。	是
Minio	对象存储服务器。
Fasdfs	分布式文件存储系统。
GaussDB	华为，关系型数据模型（支持SQL查询）、键值模型（支持类似NoSQL的键值查询）和文档模型，大数据。	是
Tbase	关系型数据库。	是
Oceanbase	阿里，关系型数据模型（支持SQL查询）、键值模型（支持类似NoSQL的键值查询）和文档模型，大数据。	是
MaxCompute	大数据计算服务。

关系型和非关系型数据库

关系型数据库（RDBMS）和非关系型数据库（NoSQL）是两种不同类型的数据库系统，它们在数据存储、数据模型、查询语言、扩展性等方面有很大的区别。以下是关系型数据库和非关系型数据库之间的主要区别：

1. 数据模型：

• 关系型数据库：

  • 使用表格（Table）来存储数据，表格由行（Rows）和列（Columns）组成。数据在表格中以结构化的形式存储，需要定义表格的结构（Schema）和字段的数据类型。

  • 数据之间的关系通过外键（Foreign Key）来建立，可以使用 SQL（Structured Query Language）进行复杂的查询操作，支持事务处理和 ACID（原子性、一致性、隔离性、持久性）属性。

• 非关系型数据库：

  • 没有固定的表格结构，数据以更灵活的方式存储，可以是键值对（Key-Value）、文档（Document）、列族（Column Family）、图形（Graph）等形式。

  • 数据模型更为灵活和动态，不需要预定义表格结构，可以根据需要随时添加新的字段或属性。

  • 每种非关系型数据库有其特定的数据模型和查询语言，如MongoDB的文档型数据、Redis的键值对数据等。

2. 查询语言：

• 关系型数据库：

  • 使用结构化查询语言（SQL）进行数据操作和查询。SQL是一种通用的查询语言，支持复杂的联接（Join）、聚合、子查询、排序、过滤等操作。

  • SQL语言的优势在于其标准化和成熟的功能，但有时候也会显得繁琐，特别是在处理复杂的数据结构和关系时。

• 非关系型数据库：

  • 不同的非关系型数据库使用不同的查询语言或 API，如MongoDB使用类似于JavaScript的查询语言、Redis使用简单的键值对操作命令等。

  • 非关系型数据库的查询语言通常针对特定的数据模型和用途进行了优化，更加灵活和高效。

3. 数据一致性和事务支持：

• 关系型数据库：

  • 支持事务处理和 ACID 属性，保证数据的一致性和完整性。事务可以确保一组操作要么全部成功提交，要么全部失败回滚。

  • 关系型数据库适合处理需要强一致性和完整性的应用，如金融系统、订单处理等。

• 非关系型数据库：

  • 非关系型数据库通常对一致性要求较低，更注重可用性和分区容忍性。有些非关系型数据库支持最终一致性（Eventual Consistency）或柔性事务（Flexible Transactions）。

  • 非关系型数据库更适合于高并发、大规模的分布式系统和需要横向扩展的应用。

4. 扩展性和性能：

• 关系型数据库：

  • 在传统的关系型数据库中，通常采用垂直扩展（Vertical Scaling）的方式，即通过增加服务器的内存、CPU等资源来提高性能。

  • 一些关系型数据库支持水平扩展（Horizontal Scaling），但相对较为复杂，需要使用分区、复制等技术来实现。

• 非关系型数据库：

  • 非关系型数据库更适合于水平扩展，可以通过添加更多的节点来提高系统的容量和性能。

  • 分布式数据库系统通常可以自动处理数据分片、负载均衡等问题，具有较好的可扩展性和性能。

5. 应用场景：

• 关系型数据库：

  • 适合处理结构化数据、需要严格的数据一致性和事务支持的应用场景，如金融系统、企业管理系统、订单处理系统等。

  • 对于复杂的查询和数据关系，关系型数据库具有较好的优势。

• 非关系型数据库：

  • 适合处理非结构化或半结构化数据、需要高可用性和横向扩展的应用场景，如社交网络、日志分析、实时推荐系统等。

  • 对于大规模数据存储、高并发读写、灵活的数据模型需求，非关系型数据库更为适用。

总结：

关系型数据库和非关系型数据库都有各自的优势和适用场景。关系型数据库适合处理结构化数据、需要严格的数据一致性和复杂查询的应用；非关系型数据库适合处理非结构化或半结构化数据、需要高可用性和横向扩展的应用。在选择数据库系统时，需要根据具体的业务需求、数据特点、性能要求等因素进行评估和选择。

OLAP和OLTP

OLAP（Online Analytical Processing）和OLTP（Online Transactional Processing）是两种常见的数据库处理类型，用于处理不同类型的数据操作和分析需求。它们在数据处理的目的、特点和应用场景上有很大的区别。以下是OLAP和OLTP的主要区别：

1. 目的和用途：

• OLAP（Online Analytical Processing）：

  • OLAP用于支持数据分析和决策支持系统（Decision Support System，DSS）。它主要用于执行复杂的、多维度的查询和分析，帮助用户从大量的数据中发现模式、趋势和洞见。

  • OLAP系统通常用于生成报表、数据透视表、多维分析（如钻取、切片、切块、滚动、旋转等）、数据挖掘和数据可视化等操作。

• OLTP（Online Transactional Processing）：

  • OLTP用于支持日常的业务交易处理。它主要用于记录和管理业务中的实时交易和操作，包括插入、更新、删除数据等基本的事务处理。

  • OLTP系统通常用于支持企业的日常业务，如订单处理、库存管理、在线购物、银行交易、在线预订等。

2. 数据模式和结构：

• OLAP：

  • OLAP系统通常使用多维数据模型（Multidimensional Data Model）或星型模式（Star Schema）或雪花模式（Snowflake Schema）来存储数据。

  • 数据以多维度（如时间、地区、产品类别等）组织，通常包含事实表（Fact Table）和维度表（Dimension Table）。

• OLTP：

  • OLTP系统通常使用规范化（Normalization）的数据模型，以最小化数据冗余和确保数据一致性为目标。

  • 数据以标准化的表格形式存储，通常具有较少的表格和复杂的关系，以支持快速的事务处理。

3. 查询类型和复杂性：

• OLAP：

  • OLAP系统执行复杂的查询，通常涉及到大量的聚合、连接和数据分组操作。

  • 典型的查询可能包括跨多个维度的数据汇总、时间序列分析、比较、趋势分析等。

• OLTP：

  • OLTP系统执行简单而快速的基本查询，通常是针对单个记录或少量记录的查询。

  • 典型的查询可能包括根据客户ID查询订单信息、根据产品ID更新库存、添加新的客户等。

4. 数据量和并发性：

• OLAP：

  • OLAP系统通常处理大量的历史数据，并且查询可能涉及到大量的数据扫描和聚合计算。

  • OLAP系统通常需要支持较少的并发用户，但对于每个用户的查询可能需要处理大量的数据。

• OLTP：

  • OLTP系统处理大量的短期数据，主要是针对当前的业务交易。

  • OLTP系统需要支持大量的并发用户，但每个用户的事务通常只涉及到少量的数据。

5. 数据库设计和优化策略：

• OLAP：

  • OLAP系统的数据库设计通常关注于提高查询性能和数据访问速度。

  • 数据库通常采用了一些优化策略，如使用索引、预计算汇总数据、分区表、缓存等。

• OLTP：

  • OLTP系统的数据库设计关注于保证数据的一致性、完整性和可靠性。

  • 数据库通常采用了规范化设计，以减少数据冗余和避免数据更新异常。

6. 示例：

• OLAP：

  • 一个销售分析系统可以使用OLAP来查询不同地区、不同产品类别的销售额，进行趋势分析和预测。

  • 一个运营分析系统可以使用OLAP来查询每天的访问量、用户活跃度、用户行为等。

• OLTP：

  • 一个在线零售网站的订单系统可以使用OLTP来处理用户的订单提交、支付、库存管理等实时交易。

  • 一个银行的交易系统可以使用OLTP来处理客户的存款、取款、转账等操作。

总结：

OLAP和OLTP是两种不同的数据库处理类型，分别用于支持数据分析和决策支持系统（OLAP）以及日常的业务交易处理（OLTP）。OLAP系统适合执行复杂的多维查询和分析操作，需要处理大量的历史数据；OLTP系统适合处理实时的业务交易和操作，需要支持大量的并发用户和快速的事务处理。在设计和选择数据库系统时，需要根据具体的业务需求、数据特点和应用场景来进行评估