論文の概要: Tug-of-war between idiom's figurative and literal meanings in LLMs

• arxiv url: http://arxiv.org/abs/2506.01723v3
• Date: Fri, 06 Jun 2025 13:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.048181
• Title: Tug-of-war between idiom's figurative and literal meanings in LLMs
• Title（参考訳）: LLMにおけるイディオムの比喩的意味と文字通りの意味の綱引き
• Authors: Soyoung Oh, Xinting Huang, Mathis Pink, Michael Hahn, Vera Demberg,
• Abstract要約: 非構成的比喩的意味はしばしばイディオムの解釈から強く分かれる。 この双対性は、比喩的な意味でイディオムを解釈する2つの意味の表現と決定を学習するモデルを必要とする。 我々は、機械的解釈可能性のツールを用いて、大きな事前訓練された因果変換器がこの曖昧さにどう対処するかを追跡する。
• 参考スコア（独自算出の注目度）: 16.986454464806616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Idioms present a unique challenge for language models due to their non-compositional figurative meanings, which often strongly diverge from the idiom's literal interpretation. This duality requires a model to learn representing and deciding between the two meanings to interpret an idiom in a figurative sense, or literally. In this paper, we employ tools from mechanistic interpretability to trace how a large pretrained causal transformer (LLama3.2-1B-base) deals with this ambiguity. We localize three steps of idiom processing: First, the idiom's figurative meaning is retrieved in early attention and MLP sublayers. We identify specific attention heads which boost the figurative meaning of the idiom while suppressing the idiom's literal interpretation. The model subsequently represents the figurative representation through an intermediate path. Meanwhile, a parallel bypass route forwards literal interpretation, ensuring that a both reading remain available. Overall, our findings provide a mechanistic evidence for idiom comprehension in an autoregressive transformer.
• Abstract（参考訳）: イディオムは、その非構成的比喩的な意味から言語モデルに固有の課題を呈し、しばしばイディオムのリテラル解釈から強く逸脱する。 この双対性は、比喩的な意味でイディオムを解釈する2つの意味の表現と決定を学習するモデルを必要とする。 本稿では,機械的解釈可能性のツールを用いて,この曖昧さに対処する大規模な因果変換器 (LLama3.2-1B-base) を探索する。 まず,イディオムの図形的意味を早期の注意とMLPサブレイヤで検索する。 我々は、イディオムの解釈を抑えつつ、イディオムの比喩的意味を高める特定の注意頭を特定する。 モデルはその後、中間経路を通して図形表現を表現する。 一方、並列バイパス経路はリテラル解釈を前進させ、両方の読み取りが引き続き利用可能であることを保証する。 総じて, 自己回帰変換器のイディオム理解の機構的証拠が得られた。

関連論文リスト

• Distributional Semantics Tracing: A Framework for Explaining Hallucinations in Large Language Models [4.946483489399819]
  大規模言語モデル(LLM)は、事実的に誤った文を生成する幻覚の傾向にある。 この研究は、3つの主要な貢献を通じて、この障害モードの本質的、アーキテクチャ的起源について調査する。
  論文  参考訳（メタデータ） (2025-10-07T16:40:31Z)
• Meanings are like Onions: a Layered Approach to Metaphor Processing [0.0]
  意味を玉ねぎとして扱うメタファー処理のモデルを提案する。 第一段階では、メタファーは基本的な概念的要素によって注釈付けされる。 第2のレベルでは、概念の組み合わせをモデル化し、コンポーネントを創発的な意味にリンクする。 第3のレベルでは、話者意図、コミュニケーション機能、文脈効果を捉えるために、実践的な語彙を導入する。
  論文  参考訳（メタデータ） (2025-07-14T14:56:46Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• SlangDIT: Benchmarking LLMs in Interpretative Slang Translation [89.48208612476068]
  本稿では,スラング翻訳タスク(SlangDIT)を紹介する。 言語間スラング検出、言語間スラング説明、現在のコンテキスト内のスラング翻訳の3つのサブタスクで構成されている。 まず、文にスラングが含まれているかどうかを識別し、スラングが多義的かどうかを判断し、その意味を解析する。
  論文  参考訳（メタデータ） (2025-05-20T10:37:34Z)
• Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention [11.073959609358088]
  本研究では,4つの大言語モデルを用いて,園芸パス文の処理と誤解釈の運命について検討する。 総合的な目標は、人間とLLMが庭道文の処理に一致しているかどうかを評価することである。 実験により,園芸道文の処理における人間とLLMの連携が期待できることが示された。
  論文  参考訳（メタデータ） (2024-05-25T03:36:13Z)
• That was the last straw, we need more: Are Translation Systems Sensitive to Disambiguating Context? [64.38544995251642]
  我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。 我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。 現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
  論文  参考訳（メタデータ） (2023-10-23T06:38:49Z)
• LMs stand their Ground: Investigating the Effect of Embodiment in Figurative Language Interpretation by Language Models [0.0]
  表現言語は、その解釈が従来の順序や意味から逸脱しているため、言語モデルの課題である。 しかし、人間がメタファーを理解し解釈するのは、メタファーを具現化したメタファーから導き出すことができるためである。 本研究は、比喩文の動作がより具体化されている場合に、より大きな言語モデルが比喩文の解釈にいかに優れているかを示す。
  論文  参考訳（メタデータ） (2023-05-05T11:44:12Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation [55.52888815590317]
  リテラル表現とは異なり、イディオムの意味はその部分から直接従わない。 NMTモデルは、しばしばイディオムを正確に、過剰に生成し、文字通り翻訳することができない。 支配的なNMTモデルであるTransformerの力学において,イディオムの非合成性が反映されているかを検討する。
  論文  参考訳（メタデータ） (2022-05-30T17:59:32Z)
• It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
  我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。 実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。 また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
  論文  参考訳（メタデータ） (2021-08-31T21:46:35Z)
• Did they answer? Subjective acts and intents in conversational discourse [48.63528550837949]
  英会話の複数の主観的かつ主観的な解釈を含む最初の対話データセットを提示する。 意見の相違が曖昧であることを示し、異なる文脈要因についてより深く理解する必要がある。
  論文  参考訳（メタデータ） (2021-04-09T16:34:19Z)
• Interpreting Verbal Metaphors by Paraphrasing [12.750941606061877]
  パラフレージング法が最先端のベースラインを著しく上回ることを示す。 また,本手法は,英語のメタファーを8言語に翻訳することで,機械翻訳システムの精度向上に役立つことを示す。
  論文  参考訳（メタデータ） (2021-04-07T21:00:23Z)
• Are Interpretations Fairly Evaluated? A Definition Driven Pipeline for Post-Hoc Interpretability [54.85658598523915]
  我々は,解釈の忠実性を評価する前に,解釈を明確に定義することを提案する。 解釈手法は,ある評価基準の下で異なる性能を示すが,その差は解釈の品質や忠実さから生じるものではない。
  論文  参考訳（メタデータ） (2020-09-16T06:38:03Z)
• Metaphoric Paraphrase Generation [58.592750281138265]
  クラウドソーシングを用いてその結果を評価し,メタファー的パラフレーズを評価するための自動指標を開発する。 語彙置換ベースラインは正確なパラフレーズを生成できるが、比喩的でないことが多い。 メタファーマスキングモデルでは,メタファー文の生成に優れ,流布やパラフレーズの品質に関してはほぼ同等に機能する。
  論文  参考訳（メタデータ） (2020-02-28T16:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。