一、产品概述
通过“人工智能”技术,实现图文音视频等媒体资产的智能化分析、标签标注、内容描述,以便高效检索和利用。系统从语音、字幕、图像识别、人脸识别等多个智能化角度,对媒体资产进行自动标签、标注、标引,实现自动编目。在此基础上,基于文字检索和音视频图片等多种形式的智能检索,提升媒体资产利用效率,盘活媒体资产。
二、总体架构
1. 基础资源层:构建平台的基础资源,实现系统元数据和实体数据集中存储,为数据处理和应用提供基础的数据支撑服务。
2. 平台功能层:实现数据的采集、大数据处理、深度学习分析、实现前台与后台数据之间的转换,提供系统的安全认证,通过统一的服务接口对外提供服务,数据处理层负责应用层与接入层之间的数据转换。
3. 业务功能层:构建平台业务实现体系,包括资源管理、内容编目、内容分发、数据分析、用户运营等子系统,分别承载系统相关业务应用。
三、流程设计
节目成品和素材产生后就已经进入到了媒体资产管理的范畴,并得到有效的保存和充分利用。节目资料进入媒资后大致经过六个阶段:内容汇聚阶段、入库阶段、编目阶段、检索下载阶段、归档阶段、内容分发。可根据实际需求进行接入媒资系统所面向的业务应用系统,并可以纳入流程。
四、功能模块介绍
1.管理功能
资源上载
融媒智能资产管理系统提供音视频及图片、文稿上传功能,支持批量操作,便于快速将媒体资源上传存储到素材库,上传文件扩展名需要符合以下规则。资产管理
通过统一平台,对融媒智能资产实现增、删、改、查等智能化管理。以及导入、导出等备
份操作。资源监控和统计管理
进行资源监控、各类资源统计、用量统计等。用户权限管理
实现组织机构设置、用户管理、角色权限等管理。全局设置功能
进行水印管理、分类管理、通知管理、下载管理等。系统管理
进行通用系统管理,例如:日志管理。
2.智能模块
音频分析模块:语音识别技术依靠深度的 NLP 算法与庞大的语料库,建立对语音文件的语义理解能力,可以将语音转换为文字。
图像识别模块:精准识别多种物体和场景,包含多项高精度的识图能力并提供相应的 API服务,充分满足各类个人开发者和企业用户的业务需求。
人脸识别模块:视频智能人脸识别 AI 采用动态识别技术,对视频中出现的全部人脸进行识别聚类,取类别中相似度最高的三张人脸进行人物判断。此技术方案相比其他竞品拥有更高的识别能力,更高的准确率,更适合视频文件素材的人脸识别需求。结合人脸库,实现对人物的标签、标引、标注。
物体、场景识别模块:物体场景识别支持多种物体和场景,可单独定制场景,如天安门、白宫等,满足更多视频识别应用的需求。
字幕识别模块:通过高效 OCR 引擎,实现对图片中的文字进行识别。
3.视频生产模块
快编工具:快编生产工具采用 B/S 架构调用云储存的各种素材或者上传素材进行快速编辑,工具支持多种视频格式,支持工程保存,结合智能化能力支持快速帧定位。
智能拆条工具:智能拆条的实现主要依靠对场景、音频、关键帧、人脸等元素的分析,通过镜头切割技术、关键帧提取技术、人脸识别技术以及音频特征匹配技术进行视频内容分割,并形成视频条目信息。
转码工具:支持各主流视音频格式文件输入,支持私有文件输入。 支持上至 8K 分辨率,240fps 视频文件输出,支持多编码方式,多格式输出,支持私有文件输出。支持横/竖屏各画幅比例视频的转码输入及输出。支持向视频中叠加多颜色、多字体、各大小的文字水印。
音频工具:针对不同应用场景和分发渠道,平台提供音频生产工具,实现对音频内容的编辑。通过对多种音频格式的专业编辑处理,提供给媒体单位更多的内容生产手段,实现内容形式的多样性。