一、引言
现如今，机器学习在越来越多的领域中凸显出其不可替代的重要性，人们开始从各领域渗透机器学习的典型案例，希望其大规模投入使用，而好的训练结果与坏的训练结果的区别并不在于你的模型好坏，而往往是取决于你拥有多少、多好的数据来训练你的模型。这就是为什么现在很多的互联网公司(诸如BAT、Google、Amazon)十分注重机器学习中数据集来源及评估这一领域的原因。
近年来，多模态机器学习蓬勃发展。每一种信息的来源都可以称为一种模态，模态是指人接受信息的方式。多模态学习由来自不同模态的信息组成，一般都是包含两个或两个以上的模态，旨在联合表示不同模态的数据，捕捉不同模态之间的内在关联，实现各个模态信息的相互转化，即使在某些模态缺失的情况下也能够填充在传递过程中缺少的信息。多模态深度学习的实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类，参考文献[1]对这些共有问题及各类子问题作出了详细的分类和论述。多模态学习在解决视听语音识别、多媒体数据内容的检索、计算机视觉(如情感分析、图像描述)等方面发挥着巨大的作用。对于多模态学习的发展，除了寻求一切算法结构模型上的突破外，不断完善和更新数据集，提高多模态机器学习模型运算速度，提高输出预测准确率也是至关重要的。
目前，现有的多模态数据集比较分散、比较凌乱，对这些各个方向、各个领域的多模态数据进行统一收集并进行整理分类，并对其进行正确的描述和评估，进而给出修正意见，使其能够更好的应用到多模态学习中，这是十分有意义的。
二、国内外研究现状
目前，多模态学习在情感分析领域应用广泛。下面整理并介绍一些用于情感分析的多模态数据集。
1.Twitter反讽刺检测数据集
韦伯斯特（Merriam Webster）将讽刺定义为“一种讥讽性的巧妙措辞能力”，它有一股神奇的力量来掩饰说话者的敌意。讽刺在当今的社交媒体平台上普遍存在，它的自动检测对于客户服务、观点发掘、线上骚扰检测以及需要了解人们真实情绪的各种任务都具有重要意义。在蔡一涛等人的工作之前，人们关于Twitter讽刺检测方面的工作主要基于单模态的文本形式上。然而，对于一条简单的推文——“今天天气真好！”并附加一张阴天的图片如图1所示，可能就是反讽，如果仅从文本分析，那么便无法识别其中的反讽意味。
天气真好！
