論文の概要: Tug-of-war between idiom's figurative and literal meanings in LLMs
- arxiv url: http://arxiv.org/abs/2506.01723v1
- Date: Mon, 02 Jun 2025 14:29:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:34.489043
- Title: Tug-of-war between idiom's figurative and literal meanings in LLMs
- Title（参考訳）: LLMにおけるイディオムの比喩的意味と文字通りの意味の綱引き
- Authors: Soyoung Oh, Xinting Huang, Mathis Pink, Michael Hahn, Vera Demberg,
- Abstract要約: 非構成的比喩的意味はしばしばイディオムの解釈から強く分かれる。
この双対性は、比喩的な意味でイディオムを解釈する2つの意味の表現と決定を学習するモデルを必要とする。
我々は、機械的解釈可能性のツールを用いて、大きな事前訓練された因果変換器がこの曖昧さにどう対処するかを追跡する。
- 参考スコア（独自算出の注目度）: 16.986454464806616
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Idioms present a unique challenge for language models due to their non-compositional figurative meanings, which often strongly diverge from the idiom's literal interpretation. This duality requires a model to learn representing and deciding between the two meanings to interpret an idiom in a figurative sense, or literally. In this paper, we employ tools from mechanistic interpretability to trace how a large pretrained causal transformer (LLama3.2-1B-base) deals with this ambiguity. We localize three steps of idiom processing: First, the idiom's figurative meaning is retrieved in early attention and MLP sublayers. We identify specific attention heads which boost the figurative meaning of the idiom while suppressing the idiom's literal interpretation. The model subsequently represents the figurative representation through an intermediate path. Meanwhile, a parallel bypass route forwards literal interpretation, ensuring that a both reading remain available. Overall, our findings provide a mechanistic evidence for idiom comprehension in an autoregressive transformer.
- Abstract（参考訳）: イディオムは、その非構成的比喩的な意味から言語モデルに固有の課題を呈し、しばしばイディオムのリテラル解釈から強く逸脱する。
この双対性は、比喩的な意味でイディオムを解釈する2つの意味の表現と決定を学習するモデルを必要とする。
本稿では,機械的解釈可能性のツールを用いて,この曖昧さに対処する大規模な因果変換器 (LLama3.2-1B-base) を探索する。
まず,イディオムの図形的意味を早期の注意とMLPサブレイヤで検索する。
我々は、イディオムの解釈を抑えつつ、イディオムの比喩的意味を高める特定の注意頭を特定する。
モデルはその後、中間経路を通して図形表現を表現する。
一方、並列バイパス経路はリテラル解釈を前進させ、両方の読み取りが引き続き利用可能であることを保証する。
総じて, 自己回帰変換器のイディオム理解の機構的証拠が得られた。
関連論文リスト
- SlangDIT: Benchmarking LLMs in Interpretative Slang Translation [89.48208612476068]
本稿では,スラング翻訳タスク(SlangDIT)を紹介する。
言語間スラング検出、言語間スラング説明、現在のコンテキスト内のスラング翻訳の3つのサブタスクで構成されている。
まず、文にスラングが含まれているかどうかを識別し、スラングが多義的かどうかを判断し、その意味を解析する。
論文 参考訳（メタデータ） (2025-05-20T10:37:34Z) - That was the last straw, we need more: Are Translation Systems Sensitive
to Disambiguating Context? [64.38544995251642]
我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。
我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。
現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
論文 参考訳（メタデータ） (2023-10-23T06:38:49Z) - LMs stand their Ground: Investigating the Effect of Embodiment in
Figurative Language Interpretation by Language Models [0.0]
表現言語は、その解釈が従来の順序や意味から逸脱しているため、言語モデルの課題である。
しかし、人間がメタファーを理解し解釈するのは、メタファーを具現化したメタファーから導き出すことができるためである。
本研究は、比喩文の動作がより具体化されている場合に、より大きな言語モデルが比喩文の解釈にいかに優れているかを示す。
論文 参考訳（メタデータ） (2023-05-05T11:44:12Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z) - Can Transformer be Too Compositional? Analysing Idiom Processing in
Neural Machine Translation [55.52888815590317]
リテラル表現とは異なり、イディオムの意味はその部分から直接従わない。
NMTモデルは、しばしばイディオムを正確に、過剰に生成し、文字通り翻訳することができない。
支配的なNMTモデルであるTransformerの力学において,イディオムの非合成性が反映されているかを検討する。
論文 参考訳（メタデータ） (2022-05-30T17:59:32Z) - It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。
実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。
また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
論文 参考訳（メタデータ） (2021-08-31T21:46:35Z) - Metaphoric Paraphrase Generation [58.592750281138265]
クラウドソーシングを用いてその結果を評価し,メタファー的パラフレーズを評価するための自動指標を開発する。
語彙置換ベースラインは正確なパラフレーズを生成できるが、比喩的でないことが多い。
メタファーマスキングモデルでは,メタファー文の生成に優れ,流布やパラフレーズの品質に関してはほぼ同等に機能する。
論文 参考訳（メタデータ） (2020-02-28T16:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。