阿里巴巴开源项目DreamTalk，能让人物头像栩栩如生地说话，支持多语言、歌曲、嘈杂音频匹配，开放更多开发者创新。
6. Transformer架构的替代方案将得到真正的采用。
另外，与小爱同学、OPPO 等合作伙伴的 “召唤小冰” 技能服务也将切换至小冰大模型。
该方法利用专有的大型语言模型在约100种语言的文本嵌入任务中生成了各种合成数据。与复杂的预训练阶段不同，该方法使用基本的对比损失函数，将开源的仅解码的大型语言模型在生成的合成数据上进行微调。
它不仅可以从图片中提取信息并回答问题，还可以将图片转化为JSON格式。LLaVA还可以识别验证码、识别图中的物体品种等，展现出了强大的多模态能力。在性能上接近GPT-4的情况下，LLaVA具有更高的成本效益，训练只需要8个A100即可在1天内完成。