論文の概要: Large Language Model Displays Emergent Ability to Interpret Novel Literary Metaphors

• arxiv url: http://arxiv.org/abs/2308.01497v2
• Date: Fri, 13 Oct 2023 15:51:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 17:28:29.962112
• Title: Large Language Model Displays Emergent Ability to Interpret Novel Literary Metaphors
• Title（参考訳）: 大きな言語モデルは、新しい文学的メタファーを解釈する創発的な能力を示す
• Authors: Nicholas Ichien, Du\v{s}an Stamenkovi\'c, Keith J. Holyoak
• Abstract要約: 大規模言語モデル(LLM)は、人工知能(AI)の汎用形式にハイレベルな人間の能力が出現するかどうかという議論を巻き起こしている。 ここでは,芸術大言語モデルの現状である GPT4 を用いて,新しい文芸メタファーの自然言語解釈を行う能力を評価する。 人間の裁判官は、AIモデルが関与しているという事実に盲目であり、GPT4が生成したメタファの解釈を、大学生のグループによって提供されるものよりも優れていると評価した。
• 参考スコア（独自算出の注目度）: 1.2277343096128712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in the performance of large language models (LLMs) have sparked debate over whether, given sufficient training, high-level human abilities emerge in such generic forms of artificial intelligence (AI). Despite the exceptional performance of LLMs on a wide range of tasks involving natural language processing and reasoning, there has been sharp disagreement as to whether their abilities extend to more creative human abilities. A core example is the ability to interpret novel metaphors. Given the enormous and non curated text corpora used to train LLMs, a serious obstacle to designing tests is the requirement of finding novel yet high quality metaphors that are unlikely to have been included in the training data. Here we assessed the ability of GPT4, a state of the art large language model, to provide natural-language interpretations of novel literary metaphors drawn from Serbian poetry and translated into English. Despite exhibiting no signs of having been exposed to these metaphors previously, the AI system consistently produced detailed and incisive interpretations. Human judges, blind to the fact that an AI model was involved, rated metaphor interpretations generated by GPT4 as superior to those provided by a group of college students. In interpreting reversed metaphors, GPT4, as well as humans, exhibited signs of sensitivity to the Gricean cooperative principle. In addition, for several novel English poems GPT4 produced interpretations that were rated as excellent or good by a human literary critic. These results indicate that LLMs such as GPT4 have acquired an emergent ability to interpret complex metaphors, including those embedded in novel poems.
• Abstract（参考訳）: 大規模言語モデル(LLM)の性能の最近の進歩は、十分な訓練を受けて、そのような汎用人工知能(AI)にハイレベルな人間の能力が出現するかどうかという議論を引き起こしている。 自然言語処理や推論を含む幅広いタスクにおけるLLMの例外的なパフォーマンスにもかかわらず、それらの能力がより創造的な人間の能力に拡張されるかどうかについては、明確な意見の相違がある。 主な例は、新しいメタファーを解釈する能力である。 LLMのトレーニングに使用される巨大な非キュレートテキストコーパスを考えると、テストの設計における重大な障害は、トレーニングデータに含まれないような、新しくて高品質なメタファを見つけることにある。 ここでは,セルビアの詩から引用され,英語に翻訳された小説のメタファーを自然言語で解釈する技術であるGPT4の評価を行った。 これまでこれらのメタファーに暴露された兆候は示さなかったが、AIシステムは一貫して詳細で切迫した解釈を生み出した。 人間の裁判官は、AIモデルが関与しているという事実に盲目であり、GPT4が生成したメタファ解釈を、大学生のグループによって提供されるものよりも優れていると評価した。 逆メタファーの解釈において、gpt4は人間と同様にグリセアの協調原理に敏感な兆候を示した。 さらに、いくつかの新しい英詩において、GPT4は人間の文芸評論家によって優れた、あるいは良いと評価された解釈を生み出した。 これらの結果から, GPT4などのLPMは, 新たな詩に埋め込まれたような複雑なメタファーを解釈する創発的な能力を得たことが示唆された。

関連論文リスト

• Science is Exploration: Computational Frontiers for Conceptual Metaphor Theory [0.0]
  本研究では,Large Language Models (LLM) が,自然言語データにおける概念的メタファの存在を正確に識別し,説明することができることを示す。 メタファアノテーションガイドラインに基づく新しいプロンプト手法を用いて,LLMが概念的メタファに関する大規模計算研究において有望なツールであることを実証した。
  論文  参考訳（メタデータ） (2024-10-11T17:03:13Z)
• A Perspective on Literary Metaphor in the Context of Generative AI [0.6445605125467572]
  本研究は,文芸メタファーの役割と,その能力について考察する。 原語の含意が文質を向上させるかどうかを検討するため,アフリカーンスでLSTMに基づく言語モデルを訓練した。 本論文は,美的価値,解釈,評価に関する思考的疑問を提起する。
  論文  参考訳（メタデータ） (2024-09-02T08:27:29Z)
• (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts [52.18246881218829]
  本稿では,大言語モデル(LLM)をベースとした多エージェントフレームワークを,TransAgentsという企業として実装した。 本システムの有効性を評価するため,モノリンガル・ヒューマン・プライス(MHP)とバイリンガル・LLM・プライス(BLP)の2つの革新的な評価戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:55:08Z)
• Finding Challenging Metaphors that Confuse Pretrained Language Models [21.553915781660905]
  現在最先端のNLPモデルにどのようなメタファーが挑戦するのかは不明だ。 難解なメタファーを識別するために、特定のモデルに挑戦するメタファーを識別する自動パイプラインを提案する。 分析の結果,検出されたハードメタファーはVUAと有意に対照的であり,機械翻訳の精度は16%低下した。
  論文  参考訳（メタデータ） (2024-01-29T10:00:54Z)
• Human vs. LMMs: Exploring the Discrepancy in Emoji Interpretation and Usage in Digital Communication [68.40865217231695]
  本研究は,ヒト型絵文字の複製におけるGPT-4Vの挙動について検討した。 この結果は、人間の解釈の主観的な性質から、人間とGPT-4Vの行動に明確な相違があることを示唆している。
  論文  参考訳（メタデータ） (2024-01-16T08:56:52Z)
• That was the last straw, we need more: Are Translation Systems Sensitive to Disambiguating Context? [64.38544995251642]
  我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。 我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。 現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
  論文  参考訳（メタデータ） (2023-10-23T06:38:49Z)
• SenteCon: Leveraging Lexicons to Learn Human-Interpretable Language Representations [51.08119762844217]
  SenteConは、深層言語表現に人間の解釈可能性を導入する方法である。 SenteConは、下流タスクにおける予測性能にほとんど、あるいは全くコストをかからない高レベルな解釈性を提供する。
  論文  参考訳（メタデータ） (2023-05-24T05:06:28Z)
• LMs stand their Ground: Investigating the Effect of Embodiment in Figurative Language Interpretation by Language Models [0.0]
  表現言語は、その解釈が従来の順序や意味から逸脱しているため、言語モデルの課題である。 しかし、人間がメタファーを理解し解釈するのは、メタファーを具現化したメタファーから導き出すことができるためである。 本研究は、比喩文の動作がより具体化されている場合に、より大きな言語モデルが比喩文の解釈にいかに優れているかを示す。
  論文  参考訳（メタデータ） (2023-05-05T11:44:12Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
  我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。 実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。 また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
  論文  参考訳（メタデータ） (2021-08-31T21:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。