训完130亿参数通用视觉语言大模型，只需3天！

北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。

利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。

具体而言，团队按照提出的新框架，训练了一个新的VLM：Chat-UniVi。

Chat-UniVi能在混合图片和视频数据的情况下进行训练，并同时处理图片任务和视频理解任务。

以此为基础，Chat-UniVi在图片及视频上的17个基准上，都表现得还不错。

现在，项目已经在GitHub和抱抱脸上开源。

更多关于新方法和Chat-UniVi的详细信息，我们一起进一步来看看～

Chat-UniVi是什么？

了解基础信息后，我们详细地聊聊Chat-UniVi究竟是什么——

简单来说，Chat-UniVi是一个统一的多模态大型语言模型，可以同时理解图像和视频。

目前VLM运用的方法，偏图片理解的，往往使用大量视觉tokens来获得更精细的空间分辨率。

偏视频理解的方法，则常常选择牺牲每帧的空间分辨率，以输入更多帧来构建更精细的时间理解能力。

与它们不同，Chat-UniVi采用动态视觉token来统一表示图像和视频，动态token合并方法是无参数的，不需要额外训练。

而动态token的来源，是渐进地聚类视觉token。

为了获取这些动态的视觉token，研究人员基于最近邻的密度峰聚类算法，逐步对视觉token进行分组和合并。

其中，图片可以通过不同大小的视觉token进行建模。

举个