公安检索数据库解决方案

利用大数据和互联网技术结合公安业务上数据量大、用户少的特点,满足数据增量达百亿级别的需求,构建超出传统方案的处理能力。

YupDB数据库简介

YupDB数据库是一款业界领先的面向下一代的多维度、高融合、企业级实时检索数据库。其底层基于hadoop大数据技术,具备万亿数据量下秒级检索及分析能力,搭载简洁易用的操作界面,是一款自主、融合、易用的实时检索数据库。

 

方案概述

使用kafka作为数据采集方案,YupDB能够实时调用kafka内的数据,同时能够实时创建索引。索引可支持结构化数据索引和非结构化数据索引(文本)。YupDB是一个高效、快速的数据分析查询数据库,在海量数据下能够进行快速的查询与分析。

YupDB具备异构存储能力,能将冷热数据分别独立存放在SATA硬盘或SSD硬盘上。底层采用成熟的大数据分布式存储技术并结合先进的数据库引擎技术,计算资源与存储资源无限扩展。

 

可以解决的问题

在日增量100亿以上数据的前提下:

●每日数据量实时导入数据系统,且实时创建索引。

●千亿数据量背景下,对数据进行分析、查询、统计达到秒级响应。

●数据实时入库,保证数据查询秒级响应。

●对冷热数据区分化存储,热数据存储在SSD,冷数据存储在SATA。

●结构化与非结构化数据(文本数据)能够进行索引融合即统一索引。

●计算资源、存储资源能够横向扩展。

 

系统架构


Picture1.png

 


可以实现的价值:

●客户每天150亿数据增量,实时导入集群。

●数据总量8800亿的前提下,做用户数据的精确查询,平均响应时间3秒。

●数据实时入库,索引实时生成。近三天热数据存储在SSD盘,其余数据存储在SATA盘。

●采用统一索引技术,解决了原结构化与非结构化数据独立索引产生的数据冗余问题。

 

 


咨询·反馈