深入理解 Hive ACID 事务表

https://shzhangji.com/cnblogs/2019/06/11/understanding-hive-acid-transactional-table/shzhangji.com

事务表和原有内部表目录和文件内容发生了改变：

目录：

/user/hive/warehouse/employee/delta_0000001_0000001_0000
/user/hive/warehouse/employee/delta_0000001_0000001_0000/_orc_acid_version
/user/hive/warehouse/employee/delta_0000001_0000001_0000/bucket_00000

文件内容：

$ orc-tools data bucket_00000
{"operation":0,"originalTransaction":1,"bucket":536870912,"rowId":0,"currentTransaction":1,"row":{"id":1,"name":"Jerry","salary":5000}}
{"operation":0,"originalTransaction":1,"bucket":536870912,"rowId":1,"currentTransaction":1,"row":{"id":2,"name":"Tom","salary":8000}}
{"operation":0,"originalTransaction":1,"bucket":536870912,"rowId":2,"currentTransaction":1,"row":{"id":3,"name":"Kate","salary":6000}}

正是因为 HIVE 对 ACID 事务表（或表分区）底层文件的目录结构，文件名，和文件格式的上述规范，所以我们不能直接读写操作 ACID 事务表底层的文件,正如我们不能绕过 MYSQL/ORACLE 服务，直接读写 MYSQL/ORACLE 表在底层本地文件系统中的文件一样。

所以周边生态工具，如 spark, datax 等，都不能像以往操作普通 ORC 表一样，直接读取 HIVE ACID 事务表了。