一家初創公司測試了 ChatGPT 和其他 AI 聊天機器人是否能理解 SEC 申報。他們大約有 70% 的時間失敗,只有在準確地告知到哪裡才能成功

https://fortune.com/2023/12/21/chatgpt-understand-sec-filings-anthropic-meta-llama2-openai-finance-ai/

初創企業測試 ChatGPT 及其他 AI 聊天機器人是否能理解美國證券交易委員會 (SEC) 的申報文件,發現成功率只有約 30%,需明確指示位置。金融界擔心 AI 不能取代對財報進行繁瑣篩選的工作,主要科技公司的 AI 模型在分析 SEC 文件及金融文件方面表現不佳。金融服務業仍須依賴人力進行許多需要大量數學和研究的任務。AI 測試的最佳實踐仍在努力發展中,並非沒有,尚未有人投入時間、精力或遵從進行正確科學評估的紀律。

經過測試,AI 工具在直接提供所需完整文件時表現出色,但在使用「長文本」時,表現略差。然而,在現實環境中,此種配置不切實際。金融公司期望 AI 能夠處理越來越多的財務文件,包括交易備忘錄、推銷簡報和權益研究,而非僅涉及公開的 SEC 申報文件。此外,AI 回答問題的準確性,是金融機構關注的重點,以免引起誤會。AI 模型視覺效果的長文本和各種表格可能使模型混淆。該研究發現 AI 雖然回答得更正確,但錯誤答案增加,將使金融機構愈發謹慎。【50 字】

via Fortune | FORTUNE

December 21, 2023 at 08:09PM

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *