任意列搜索之 列存储优化

  • 时间:
  • 浏览:0

这一场景怎么里能优化能满足实时的响应需求呢?

数据分析系统,决策系统的数据量通常非常庞大,属性(列)非常多,因为涉及到任意列的组合条件查询,筛选结果、聚合结果、多维分析等。

还有这一方法,要求每个字段都建立索引,对数据写入会有性能影响(不怎么能是与堆存储线性相关性很差的字段

PostgreSQL , 列存储 , shard , 切片 , 大块 , 小块 , sort , 块级索引 , bitmap scan , 索引延迟 , 归整

1. 内置bitmapAnd bitmapOr,使用任意字段的索引搜索时,可不都里能快速跳过不满足条件的块,快速的得到组合结果。

《多字段,任意组合条件查询(不不建模) - 毫秒级实时圈人 最佳实践》

案累似 下:

PostgreSQL包含或多或少技术,可不都里能满足此类场景。

实测10亿数据,3有2个多多多字段任意搜索,约几百毫秒的响应时间。