論文の概要: Tug-of-war between idioms' figurative and literal interpretations in LLMs
- arxiv url: http://arxiv.org/abs/2506.01723v4
- Date: Thu, 09 Oct 2025 11:21:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 15:34:28.518692
- Title: Tug-of-war between idioms' figurative and literal interpretations in LLMs
- Title（参考訳）: LLMにおけるイディオムの図形解釈とリテラル解釈の綱引き
- Authors: Soyoung Oh, Xinting Huang, Mathis Pink, Michael Hahn, Vera Demberg,
- Abstract要約: 非構成的図形解釈は、しばしばイディオムのリテラル解釈から強く分かれる。
我々は因果トレースを用いて、事前訓練された因果変換器がこのあいまいさにどう対処するかを分析する。
本研究は自己回帰変換器における理解のメカニズム的証拠を提供する。
- 参考スコア（独自算出の注目度）: 23.963472312973227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Idioms present a unique challenge for language models due to their non-compositional figurative interpretations, which often strongly diverge from the idiom's literal interpretation. In this paper, we employ causal tracing to systematically analyze how pretrained causal transformers deal with this ambiguity. We localize three mechanisms: (i) Early sublayers and specific attention heads retrieve an idiom's figurative interpretation, while suppressing its literal interpretation. (ii) When disambiguating context precedes the idiom, the model leverages it from the earliest layer and later layers refine the interpretation if the context conflicts with the retrieved interpretation. (iii) Then, selective, competing pathways carry both interpretations: an intermediate pathway prioritizes the figurative interpretation and a parallel direct route favors the literal interpretation, ensuring that both readings remain available. Our findings provide mechanistic evidence for idiom comprehension in autoregressive transformers.
- Abstract（参考訳）: イディオムは非構成的図形解釈のために言語モデルに固有の課題を呈し、しばしばイディオムのリテラル解釈から強く逸脱する。
本稿では,このあいまいさに対して,事前学習した因果変換器がどう対処するかを系統的に解析するために因果トレースを用いる。
私たちは3つのメカニズムをローカライズします。
一 初期サブレイヤー及び特定の注目ヘッドは、そのリテラル解釈を抑えつつ、イディオムの図形解釈を検索する。
(II)曖昧な文脈がイディオムに先行する場合には、モデルが初期層からそれを利用し、その後層が検索された解釈と矛盾した場合に解釈を洗練させる。
中間経路は図形の解釈を優先し、平行方向の経路は文字の解釈を優先し、両方の読みが引き続き利用可能であることを保証します。
自動回帰変換器のイディオム理解の機械的証拠を提供する。
関連論文リスト
- SlangDIT: Benchmarking LLMs in Interpretative Slang Translation [89.48208612476068]
本稿では,スラング翻訳タスク(SlangDIT)を紹介する。
言語間スラング検出、言語間スラング説明、現在のコンテキスト内のスラング翻訳の3つのサブタスクで構成されている。
まず、文にスラングが含まれているかどうかを識別し、スラングが多義的かどうかを判断し、その意味を解析する。
論文 参考訳（メタデータ） (2025-05-20T10:37:34Z) - That was the last straw, we need more: Are Translation Systems Sensitive
to Disambiguating Context? [64.38544995251642]
我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。
我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。
現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
論文 参考訳（メタデータ） (2023-10-23T06:38:49Z) - LMs stand their Ground: Investigating the Effect of Embodiment in
Figurative Language Interpretation by Language Models [0.0]
表現言語は、その解釈が従来の順序や意味から逸脱しているため、言語モデルの課題である。
しかし、人間がメタファーを理解し解釈するのは、メタファーを具現化したメタファーから導き出すことができるためである。
本研究は、比喩文の動作がより具体化されている場合に、より大きな言語モデルが比喩文の解釈にいかに優れているかを示す。
論文 参考訳（メタデータ） (2023-05-05T11:44:12Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z) - Can Transformer be Too Compositional? Analysing Idiom Processing in
Neural Machine Translation [55.52888815590317]
リテラル表現とは異なり、イディオムの意味はその部分から直接従わない。
NMTモデルは、しばしばイディオムを正確に、過剰に生成し、文字通り翻訳することができない。
支配的なNMTモデルであるTransformerの力学において,イディオムの非合成性が反映されているかを検討する。
論文 参考訳（メタデータ） (2022-05-30T17:59:32Z) - It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。
実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。
また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
論文 参考訳（メタデータ） (2021-08-31T21:46:35Z) - Interpreting Verbal Metaphors by Paraphrasing [12.750941606061877]
パラフレージング法が最先端のベースラインを著しく上回ることを示す。
また,本手法は,英語のメタファーを8言語に翻訳することで,機械翻訳システムの精度向上に役立つことを示す。
論文 参考訳（メタデータ） (2021-04-07T21:00:23Z) - Metaphoric Paraphrase Generation [58.592750281138265]
クラウドソーシングを用いてその結果を評価し,メタファー的パラフレーズを評価するための自動指標を開発する。
語彙置換ベースラインは正確なパラフレーズを生成できるが、比喩的でないことが多い。
メタファーマスキングモデルでは,メタファー文の生成に優れ,流布やパラフレーズの品質に関してはほぼ同等に機能する。
論文 参考訳（メタデータ） (2020-02-28T16:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。