行业动态

多模态大模型

为安防行业带来重大技术革新

基于观澜大模型技术体系

海康威视将大参数量、大样本量的

图文多模态大模型

与嵌入式智能硬件深度融合

发布多模态大模型文搜存储系列产品

——文搜NVR、文搜CVR

海康威视文搜存储系列产品

利用多模态大模型

实现自然语言与视频图像的

跨模态信息检索应用

输入一句话、一个词就能秒级检索目标图像

目标检索变得更广、更准、更快、更易 

让安防录像回溯不再局限于

传统时空、报警等检索方式

大幅提升目标和事件的查找效率

让安防业务管理更高效、更智能

1、搜得广

开放式语义检索，搜人搜车搜物

基于多模态大模型，文搜存储产品实现了海量视图数据的开放式语义检索，不再局限于传统的录像回放及固定属性查找。

根据需求，在搜索框内输入文字描述（一句话或一个词等），例如输入“打电话”、“白色面包车”、 “骑电瓶车未戴头盔”、“自行车”、“小推车”、“小狗”等开放文字语义描述，即可搜索出相关目标。

搜索范围广，既支持人、机动车、非机动车等安防场景的高频目标搜索 ，也广泛支持特定物品、异常行为等特征搜索。 

2、搜得准

文字与图像精准匹配

利用多模态大模型技术，提取图像与拟搜索语言的特征，并将图像特征与搜索语言中关键语义特征对齐，实现高精度搜索。

如能够理解 “穿红色衣服”、“黑色背包”、“戴帽子”、“拉杆箱”、“棍棒”等对目标的文字描述，精准搜索出相关目标。针对常见目标的检索，TOP20命中率可达90%以上。（数据来自海康威视实验室）

3、搜得快

秒级出搜索结果

采用数据三级缓存、均衡抽样、异步加载等创新技术，实现文本搜索结果的秒级显示。

4、搜得易

极简操作，轻松搜索

除了手动输入文本进行检索外，贴合用户常用情景，增设找人、找机动车、找非机动车、找宠物、找常用物品等快捷搜索入口，还支持用户自定义编辑搜索惯语，让操作更简单，使用更便捷。

基于观澜大模型技术体系，推进产品创新 

文搜存储系列产品基于海康威视观澜大模型技术体系，实现智能化应用的变革。观澜大模型中的图文多模态大模型，在大语言模型的基础上，使用图文多模态数据进行持续预训练，获得视觉感知和视觉认知能力。受益于图文多模态大模型强大的感知能力和跨任务泛化能力，视觉智能业务的应用门槛被显著降低。

文搜存储系列产品是多模态大模型算法与嵌入式智能硬件结合的应用突破，通过面向平台的模型设计、大小模型蒸馏、跨层混合精度量化等大模型部署技术与嵌入式智能硬件创新设计，实现多模态大模型在轻量化嵌入式硬件平台上落地，让多模态大模型技术实现普惠应用，使更多行业和用户享受大模型带来的智能与便捷。