ChatGPT中文财经文本分析任务表现初探——情感分析

飞往月球中

作为一款由OpenAI训练的大型语言模型，ChatGPT在中文文本的舆情判断能力非常出色。它通过预先处理大量的中文文本，学习了人类的语言表达方式，以及对不同话题的正面、负面、中性的语气评价。这使得ChatGPT具有较高的准确率和可靠性，在舆情判断方面具有显著的优势。通过使用ChatGPT，我们可以更好地了解中文文本中隐含的情感倾向，从而更好地了解舆论。
——ChatGPT



ChatGPT年初起席卷中文互联网，作为时下炙手可热的语言模型，它不仅能够理解你的问题，还能进行文字创作甚至编码，它的无所不能正在刷新我们对于AI的理解。
那么，作为一个专注于中文财经文本大数据服务的公司，我们决定测试一下它在中文财经文本分析的能力，探索ChatGPT能否帮助我们更高效地完成特定的文本分析任务，优化工作流程和重点。
<hr/>文本情感分析

以下为对话实摘：

Datago：接下来我会提供一些新闻内容，请判断它们的情感属于正面还是负面。
ChatGPT：好的，请提供新闻内容。我会尽力判断情感是正面还是负面。

测试开始

Datago：“英国经济“脱欧红利”恐难持久”
ChatGPT： 这句话的情感属于负面。
Datago：“该项新措施可降低风险，减少损失”
ChatGPT：这句话的情感属于正面。
Datago：连亏两年却要分红3亿！深交所关注函来了
ChatGPT：这则新闻的情感属于负面。

初步测试结果令人惊喜，市面上基于词典法构建的NLP模型甚至主流的财经资讯门户（如下图）在面对含有相反情感倾向词汇的句子时容易给出错误结果，而ChatGPT成功规避了这些陷阱。


此外，ChatGPT甚至能够识别部分企业实体并正确理解财经信息的语义和舆情：

Datago：大股东Naspers已阶段性停止减持腾讯。
ChatGPT：这句话涉及到的企业是腾讯和Naspers，舆情是正面。因为大股东Naspers已经阶段性停止减持腾讯，这意味着Naspers对腾讯的未来仍然具有信心，不再对腾讯进行大规模减持。这对腾讯股价和投资者信心都有积极的影响，因此，我们可以认为这句话的舆情是正面的。

不过，ChatGPT在进行文本情感分析时，它通常会设定为分析叙述者本身的语调，而不是对所讨论的资产价值判断上。


因此，为了保持一致性并更贴近金融领域的情感分析任务，我们此后的测试中均将ChatGPT的情感分析任务限定于“资产价值”的判断上。


不过哪怕我们有设置任务，也许由于ChatGPT对对话上下文的记忆的不稳定性，我们也需要在会话中经常提醒它是对“资产价值”做判断。


明确是对“资产价值”的判断后，ChatGPT确实对于很多复杂语境的文本都能做出正确的情感分析和堪称惊艳的解读。但同时，我们也看到目前ChatGPT作为一个面向通用场景下的会话任务的大语言模型，在被应用作为中文财经文本的情感分析工具时仍存在不足。
<hr/>舆情分析结果随机，逻辑判断不稳定

ChatGPT最令人惊艳的能力在于它能够结合之前的对话进行理解，做到像与人一样对话，但这也意味着它的生成结果会受到之前对话的影响，对同一个文本分析结果会出现前后不一致的情况。
在这项测试中，我们先问了一个金融场景的情感分析问题：



然后我们新开了一个对话，从某财经论坛中摘取了一系列文本要求ChatGPT进行判断后，再次询问了同一个问题：



受之前对话的影响，ChatGPT给出了完全不同的回答。
此外，ChatGPT的前后判断逻辑和标准不一致，在“买入/卖出”这种相反的问题中，它的给出的结果都是正面，前者的理由是对股票未来价值的看好，而后者的是对投资者资产价值的看好。



生成内容的随机性在内容生成上可以让创作不再千篇一律，具备千人千面的优势，但如果作为金融文本数据的分析工具，不能保证情感分析的分析逻辑和结果一致性将是目前ChatGPT一个重大缺陷。

<hr/>
对金融领域的覆盖和理解不足

作为一个通用模型，它似乎未能理解某些中文财经语境或词汇：
例如：限售股解禁




摘星摘帽：


关灯吃面：



通过上述例子可知，ChatGPT对金融领域的现象尤其是对现象的中文表述或者词汇的解读和判断的均不理想。
坦率地说，这也是通用模型的通病，由于对金融财经领域的中文文本语料，特别是带标注的语料的覆盖不足，ChatGPT在面对这些特定词汇时显得有些混乱，但这也许可以通过拓展覆盖更多特定领域的(标注)语料来解决。
不过除了前述的判断的稳定性和一致性问题，另一个可能影响文本分析任务（包括情感分析）的重大缺陷还在于ChatGPT尝试积累和学习知识用于判断，但却无法保证知识的准确性。
<hr/>未能保证数据真实性




这次我们询问了它一个具体的问题，ChatGPT也像模像样地给出个看似周全的回答。
遗憾的是，2020年英伟达股价不仅没有下跌，而且上涨。


在机器之心测试New Bing (必应+ChatGPT) 的文章中也指出了相似的情况：ChatGPT在回答问题的时候，可能会直接生成出预训练阶段见过的数据而非基于事实，因此会出现生成内容与引用内容冲突的情况，并制造虚假信息。

舆情监测汇总

除了对于单一指定文本的情感分析，更实际也更有价值的任务其实还在于ChatGPT能否在批量处理海量文本数据后，直接帮助我们总结出一家公司或者行业的舆情。
由于ChatGPT目前所覆盖的数据截止至2021年，我们就以2020年5月1日为例测试了ChatGPT是否具有（历史）信息整合和舆情整合能力，它表示做不到。



将舆情覆盖范围指定为特定媒体类别后，ChatGPT直接开始甩锅，推荐使用其他专门的工具了。


<hr/>最后......

除了能够判断文本的情感倾向，在金融领域的文本分析任务中，识别文本涉及了哪些公司也是文本分析中一个非常基础但重要的任务。ChatGPT在实体识别（NER）方面的能力也可圈可点，我们将留待以后讨论。
整体而言，ChatGPT作为一个面向对话任务的通用语言模型，在中文财经文本的情感分析任务上的表现可以说非常惊艳。但从目前的测试而言，把ChatGPT直接应用在金融领域，处理中文财经文本的情感分析等判别任务，从而真实、稳定、准确地提供金融数据服务、指导投资决策还有一定距离。
此外，考虑到金融企业对数据实时性的要求，如何利用ChatGPT实时且成本可控地处理海量实时更新的金融文本数据（新闻，研报，社交媒体等等）并提供数据分析服务也是一个有待解决的问题。
和其他领域一样，横空出世的ChatGPT确实让我们看到了语言模型更高的上限，也让我们对中文财经文本数据所蕴含的潜在价值有了更多的期待。Datago接下来也将持续探索ChatGPT的优势和边界，并持续优化我们在中文财经文本处理中的方法和流程，从而为我们的客户提供更好的中文财经文本数据服务，探索更具想象力的商业场景。
<hr/>以上内容由数行者科技提供。
ChatGPT中文财经文本分析任务表现初探——情感分析