論文の概要: Tug-of-war between idioms' figurative and literal interpretations in LLMs

• arxiv url: http://arxiv.org/abs/2506.01723v4
• Date: Thu, 09 Oct 2025 11:21:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 15:34:28.518692
• Title: Tug-of-war between idioms' figurative and literal interpretations in LLMs
• Title（参考訳）: LLMにおけるイディオムの図形解釈とリテラル解釈の綱引き
• Authors: Soyoung Oh, Xinting Huang, Mathis Pink, Michael Hahn, Vera Demberg,
• Abstract要約: 非構成的図形解釈は、しばしばイディオムのリテラル解釈から強く分かれる。 我々は因果トレースを用いて、事前訓練された因果変換器がこのあいまいさにどう対処するかを分析する。 本研究は自己回帰変換器における理解のメカニズム的証拠を提供する。
• 参考スコア（独自算出の注目度）: 23.963472312973227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Idioms present a unique challenge for language models due to their non-compositional figurative interpretations, which often strongly diverge from the idiom's literal interpretation. In this paper, we employ causal tracing to systematically analyze how pretrained causal transformers deal with this ambiguity. We localize three mechanisms: (i) Early sublayers and specific attention heads retrieve an idiom's figurative interpretation, while suppressing its literal interpretation. (ii) When disambiguating context precedes the idiom, the model leverages it from the earliest layer and later layers refine the interpretation if the context conflicts with the retrieved interpretation. (iii) Then, selective, competing pathways carry both interpretations: an intermediate pathway prioritizes the figurative interpretation and a parallel direct route favors the literal interpretation, ensuring that both readings remain available. Our findings provide mechanistic evidence for idiom comprehension in autoregressive transformers.
• Abstract（参考訳）: イディオムは非構成的図形解釈のために言語モデルに固有の課題を呈し、しばしばイディオムのリテラル解釈から強く逸脱する。 本稿では,このあいまいさに対して,事前学習した因果変換器がどう対処するかを系統的に解析するために因果トレースを用いる。 私たちは3つのメカニズムをローカライズします。 一 初期サブレイヤー及び特定の注目ヘッドは、そのリテラル解釈を抑えつつ、イディオムの図形解釈を検索する。 (II)曖昧な文脈がイディオムに先行する場合には、モデルが初期層からそれを利用し、その後層が検索された解釈と矛盾した場合に解釈を洗練させる。 中間経路は図形の解釈を優先し、平行方向の経路は文字の解釈を優先し、両方の読みが引き続き利用可能であることを保証します。 自動回帰変換器のイディオム理解の機械的証拠を提供する。

関連論文リスト

• Distributional Semantics Tracing: A Framework for Explaining Hallucinations in Large Language Models [4.946483489399819]
  大規模言語モデル(LLM)は、事実的に誤った文を生成する幻覚の傾向にある。 この研究は、3つの主要な貢献を通じて、この障害モードの本質的、アーキテクチャ的起源について調査する。
  論文  参考訳（メタデータ） (2025-10-07T16:40:31Z)
• Meanings are like Onions: a Layered Approach to Metaphor Processing [0.0]
  意味を玉ねぎとして扱うメタファー処理のモデルを提案する。 第一段階では、メタファーは基本的な概念的要素によって注釈付けされる。 第2のレベルでは、概念の組み合わせをモデル化し、コンポーネントを創発的な意味にリンクする。 第3のレベルでは、話者意図、コミュニケーション機能、文脈効果を捉えるために、実践的な語彙を導入する。
  論文  参考訳（メタデータ） (2025-07-14T14:56:46Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• SlangDIT: Benchmarking LLMs in Interpretative Slang Translation [89.48208612476068]
  本稿では,スラング翻訳タスク(SlangDIT)を紹介する。 言語間スラング検出、言語間スラング説明、現在のコンテキスト内のスラング翻訳の3つのサブタスクで構成されている。 まず、文にスラングが含まれているかどうかを識別し、スラングが多義的かどうかを判断し、その意味を解析する。
  論文  参考訳（メタデータ） (2025-05-20T10:37:34Z)
• Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention [11.073959609358088]
  本研究では,4つの大言語モデルを用いて,園芸パス文の処理と誤解釈の運命について検討する。 総合的な目標は、人間とLLMが庭道文の処理に一致しているかどうかを評価することである。 実験により,園芸道文の処理における人間とLLMの連携が期待できることが示された。
  論文  参考訳（メタデータ） (2024-05-25T03:36:13Z)
• That was the last straw, we need more: Are Translation Systems Sensitive to Disambiguating Context? [64.38544995251642]
  我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。 我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。 現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
  論文  参考訳（メタデータ） (2023-10-23T06:38:49Z)
• LMs stand their Ground: Investigating the Effect of Embodiment in Figurative Language Interpretation by Language Models [0.0]
  表現言語は、その解釈が従来の順序や意味から逸脱しているため、言語モデルの課題である。 しかし、人間がメタファーを理解し解釈するのは、メタファーを具現化したメタファーから導き出すことができるためである。 本研究は、比喩文の動作がより具体化されている場合に、より大きな言語モデルが比喩文の解釈にいかに優れているかを示す。
  論文  参考訳（メタデータ） (2023-05-05T11:44:12Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation [55.52888815590317]
  リテラル表現とは異なり、イディオムの意味はその部分から直接従わない。 NMTモデルは、しばしばイディオムを正確に、過剰に生成し、文字通り翻訳することができない。 支配的なNMTモデルであるTransformerの力学において,イディオムの非合成性が反映されているかを検討する。
  論文  参考訳（メタデータ） (2022-05-30T17:59:32Z)
• It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
  我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。 実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。 また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
  論文  参考訳（メタデータ） (2021-08-31T21:46:35Z)
• Did they answer? Subjective acts and intents in conversational discourse [48.63528550837949]
  英会話の複数の主観的かつ主観的な解釈を含む最初の対話データセットを提示する。 意見の相違が曖昧であることを示し、異なる文脈要因についてより深く理解する必要がある。
  論文  参考訳（メタデータ） (2021-04-09T16:34:19Z)
• Interpreting Verbal Metaphors by Paraphrasing [12.750941606061877]
  パラフレージング法が最先端のベースラインを著しく上回ることを示す。 また,本手法は,英語のメタファーを8言語に翻訳することで,機械翻訳システムの精度向上に役立つことを示す。
  論文  参考訳（メタデータ） (2021-04-07T21:00:23Z)
• Are Interpretations Fairly Evaluated? A Definition Driven Pipeline for Post-Hoc Interpretability [54.85658598523915]
  我々は,解釈の忠実性を評価する前に,解釈を明確に定義することを提案する。 解釈手法は,ある評価基準の下で異なる性能を示すが,その差は解釈の品質や忠実さから生じるものではない。
  論文  参考訳（メタデータ） (2020-09-16T06:38:03Z)
• Metaphoric Paraphrase Generation [58.592750281138265]
  クラウドソーシングを用いてその結果を評価し,メタファー的パラフレーズを評価するための自動指標を開発する。 語彙置換ベースラインは正確なパラフレーズを生成できるが、比喩的でないことが多い。 メタファーマスキングモデルでは,メタファー文の生成に優れ,流布やパラフレーズの品質に関してはほぼ同等に機能する。
  論文  参考訳（メタデータ） (2020-02-28T16:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。