論文の概要: Interpreting the Latent Structure of Operator Precedence in Language Models

• arxiv url: http://arxiv.org/abs/2510.13908v1
• Date: Tue, 14 Oct 2025 23:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.532314
• Title: Interpreting the Latent Structure of Operator Precedence in Language Models
• Title（参考訳）: 言語モデルにおける演算子述語遅延構造の解析
• Authors: Dharunish Yugeswardeenoo, Harshil Nukala, Cole Blondin, Sean O Brien, Vasu Sharma, Kevin Zhu,
• Abstract要約: 大きな言語モデル(LLM)は印象的な推論能力を示しているが、算術的なタスクに苦戦し続けている。 LLMは,LLaMA 3.2-3Bモデルを用いて,内部表現に先行する演算子を符号化するかどうかを検討する。 本稿では,演算子間で高インパクトな埋め込み次元を交換することにより,演算子優先性を変更する手法である部分埋め込みを導入する。
• 参考スコア（独自算出の注目度）: 9.16970071006503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive reasoning capabilities but continue to struggle with arithmetic tasks. Prior works largely focus on outputs or prompting strategies, leaving the open question of the internal structure through which models do arithmetic computation. In this work, we investigate whether LLMs encode operator precedence in their internal representations via the open-source instruction-tuned LLaMA 3.2-3B model. We constructed a dataset of arithmetic expressions with three operands and two operators, varying the order and placement of parentheses. Using this dataset, we trace whether intermediate results appear in the residual stream of the instruction-tuned LLaMA 3.2-3B model. We apply interpretability techniques such as logit lens, linear classification probes, and UMAP geometric visualization. Our results show that intermediate computations are present in the residual stream, particularly after MLP blocks. We also find that the model linearly encodes precedence in each operator's embeddings post attention layer. We introduce partial embedding swap, a technique that modifies operator precedence by exchanging high-impact embedding dimensions between operators.
• Abstract（参考訳）: 大きな言語モデル(LLM)は印象的な推論能力を示しているが、算術的なタスクに苦戦し続けている。 先行研究は主にアウトプットや戦略の推進に重点を置いており、モデルが算術計算を行う内部構造に関するオープンな疑問を残している。 本研究では, LLaMA 3.2-3B モデルを用いて, LLM が内部表現に先立って演算子を符号化するかどうかを検討する。 我々は3つのオペランドと2つの演算子を持つ算術表現のデータセットを構築し、括弧の順序と配置を変化させた。 このデータセットを用いて,LLaMA 3.2-3Bモデルの残差ストリームに中間結果が現れるかどうかを調べる。 本稿では,ロジットレンズ,線形分類プローブ,UMAP幾何学的可視化などの解釈可能性技術を適用した。 提案手法は, MLPブロック後, 残差ストリームに中間計算が存在することを示す。 また、各オペレータの埋め込み後注意層において、モデルが線形に優先的に符号化されていることも確認した。 本稿では,演算子間で高インパクトな埋め込み次元を交換することにより,演算子優先性を変更する手法である部分埋め込みスワップを導入する。

関連論文リスト

• Predicting Task Performance with Context-aware Scaling Laws [56.6850444554434]
  本稿では、トレーニング計算と提供されたコンテキストの関数として、下流のパフォーマンスを協調的にモデル化する、単純かつ解釈可能なフレームワークを提案する。 我々は,Llama-2-7BおよびLlama-2-13Bの拡張コンテキスト変種について,観測された下流性能に適合させることで,我々の枠組みを実証的に検証した。 以上の結果から,我々のフレームワークは,配信中のダウンストリーム性能を正確にモデル化し,トレーニング計算において3桁の規模で一般化し,コンテキストの増大とともに性能を確実に外挿することを示す。
  論文  参考訳（メタデータ） (2025-10-16T17:35:18Z)
• MathOPEval: A Fine-grained Evaluation Benchmark for Visual Operations of MLLMs in Mathematical Reasoning [57.42710816140401]
  有望なアプローチでは、中間表現としてコードを使用し、推論ステップで画像を正確に表現し、操作する。 既存の評価はテキストのみの推論出力に重点を置いており、MLLMはコードによる正確な視覚操作をほとんど探索されていないままにしている。 この研究は、マルチモーダル数学的推論におけるMLLMのコードベース能力を評価することによって、そのギャップに対処する第一歩を踏み出した。
  論文  参考訳（メタデータ） (2025-07-24T07:03:11Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Discrete Morphological Neural Networks [0.0]
  We propose the Discrete Morphological Neural Networks (DMNN) for binary image analysis to represent W-operators。 概念実証として、DMNNを用いて、ノイズのある桁の境界を認識する。
  論文  参考訳（メタデータ） (2023-09-01T17:04:48Z)
• A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
  算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。 これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
  論文  参考訳（メタデータ） (2023-05-24T11:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。