論文の概要: Matryoshka attribution: Learning to attribute language model outputs to representations and weights

• arxiv url: http://arxiv.org/abs/2609.25518v1
• Date: Tue, 22 Sep 2026 00:23:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.162275
• Title: Matryoshka attribution: Learning to attribute language model outputs to representations and weights
• Title（参考訳）: Matryoshka attribution:Language model outputs to attribute representations and weights
• Abstract要約: 本稿では、下流損失を最小限に抑える内部コンポーネントのネストしたサブセットを特定する問題として、フレーミング属性を提案する。 マスク学習手法であるMatryoshka Attribution (MAttr)を導入する。 実践的な応用として、下流行動に責任のある重み変化を特定するために、強化学習を用いてMAttrを訓練できることが示される。
• 参考スコア（独自算出の注目度）: 55.376094893886005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attributing language model outputs to their internal computations is an open problem in interpretability. Existing methods, which use causal interventions, gradients, or learnable masks, either are infeasibly expensive or struggle to identify actual causally-important internal computations. We propose framing attribution as the problem of identifying nested subsets of internal components which minimise a downstream loss. To learn this task, we introduce Matryoshka Attribution (MAttr), a mask learning method that parametrises the mask with a simple differentiable sigmoid top-$k$ operator. We supervise training over all sparsities simultaneously by randomising $k$ over training, resulting in a learned ordering of components by attribution score. MAttr achieves number 1 on the official leaderboard of the Mechanistic Interpretability Benchmark (Mueller et al., 2025); our method identifies sparse and task-transferrable circuits across varying circuit bases. As a practical application, we show that MAttr can be trained with reinforcement learning to identify weight changes responsible for downstream behaviours in LLM finetuning. We train MAttr on refusal judge scores and find that restoring $1\%$ of Llama 3.1 8B Instruct's weights to their base model state is sufficient to remove refusals while maintaining capabilities. We view MAttr as a successful formulation of interpretability into a learnable objective that we can tackle with gradient descent, and encourage future work along these lines.
• Abstract（参考訳）: 言語モデルの出力を内部計算に寄与させることは、解釈可能性のオープンな問題である。 因果介入、勾配、あるいは学習可能なマスクを使用する既存の方法は、実現不可能なほど高価であるか、実際に因果的に重要な内部計算を特定するのに苦労している。 本稿では、下流損失を最小限に抑える内部コンポーネントのネストしたサブセットを特定する問題として、フレーミング属性を提案する。 この課題を学習するために,マスク学習手法であるMatryoshka Attribution (MAttr)を導入する。 トレーニング期間中に$k$をランダム化することにより,すべての空間でのトレーニングを同時に監視し,帰属スコアによるコンポーネントの順序付けを学習する。 MAttr は機械的解釈可能性ベンチマーク (Mueller et al , 2025) の公式のリーダーボードで1位を獲得し, 様々な回路ベースにまたがるスパース回路とタスク変換可能な回路を同定する。 実用的な応用として,LLMファインタニングにおける下流行動に責任のある重み変化を特定するために,強化学習を用いてMAttrを訓練できることが示されている。 我々は、拒否判断スコアに基づいてMAttrを訓練し、Llama 3.1 8Bの1\%を復元すると、基本モデル状態への命令の重み付けは、機能を維持しながら拒絶を除去するのに十分であることを示す。 我々は、MAttrを学習可能な目的に解釈可能性の定式化を成功させ、勾配降下に対処し、これらの線に沿った将来の作業を促進することができると考えている。

関連論文リスト

• Tracing the Thought of a Grandmaster-level Chess-Playing Transformer [62.403498221631715]
  本稿では,Leela Chess Zeroの内部計算を解釈するスパース分解フレームワークを提案する。 これらの経路が豊富で解釈可能な考察を露呈することを示す詳細なケーススタディを行う。 我々の知る限りでは、これは計算モジュールと注意モジュールの両方で変換器の内部計算を分解する最初の試みである。
  論文  参考訳（メタデータ） (2026-04-11T11:11:06Z)
• An Illusion of Unlearning? Assessing Machine Unlearning Through Internal Representations [16.917151304941967]
  最終層の特徴と分類器のミスアライメントが主な原因で,最先端の非学習手法が成功していることを示す。 隠れた特徴は相変わらず差別的であり、単純な線形探索は、ほぼ原産地の精度を回復することができる。
  論文  参考訳（メタデータ） (2026-04-09T14:02:23Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• UniME-V2: MLLM-as-a-Judge for Universal Multimodal Embedding Learning [101.62386137855704]
  本稿では,Universal Multimodal Embedding (UniME-V2)モデルを提案する。 提案手法はまず,グローバル検索による潜在的な負のセットを構築する。 次に、MLLMを用いてクエリ候補対のセマンティックアライメントを評価するMLLM-as-a-Judge機構を提案する。 これらのスコアは、ハード・ネガティブ・マイニングの基礎となり、偽陰性の影響を緩和し、多様な高品質なハード・ネガティブの識別を可能にする。
  論文  参考訳（メタデータ） (2025-10-15T13:07:00Z)
• Minimalist Explanation Generation and Circuit Discovery [10.850989126934317]
  本稿では,機械学習決定のための最小限の説明を生成するために,アクティベーションマッチングに基づくアプローチを提案する。 我々は、画像の判断的に重要な領域をハイライトするバイナリマスクを生成するために、軽量なオートエンコーダを訓練する。 このような最小限の説明は、モデル内部を機械的に解釈するきっかけにもなります。
  論文  参考訳（メタデータ） (2025-09-30T02:43:44Z)
• How Post-Training Reshapes LLMs: A Mechanistic View on Knowledge, Truthfulness, Refusal, and Confidence [52.9442657690445]
  大規模言語モデル(LLM)の成功にはポストトレーニングが不可欠である 学習後効果をよりよく理解するために,4つの視点からベースとポストトレーニング後のLLMを比較した。
  論文  参考訳（メタデータ） (2025-04-03T06:30:55Z)
• Bootstrap Masked Visual Modeling via Hard Patches Mining [68.74750345823674]
  マスク付き視覚モデリングは、一般化可能な表現の学習において有望な可能性を秘めているため、多くの注目を集めている。 モデルが教師の靴の中に立つことは同様に重要であると我々は主張する。 教師としてのモデルを強化するため,我々はハードパッチマイニング(HPM, Hard Patches Mining)を提案し,パッチワイド損失を予測し,次にマスクの場所を決定する。
  論文  参考訳（メタデータ） (2023-12-21T10:27:52Z)
• RuleBert: Teaching Soft Rules to Pre-trained Language Models [21.69870624809201]
  そこで我々は, PLM が与えられた仮説の確率で予測を返すべき, 事実とソフトルールを前提とした分類タスクを導入する。 本研究では, PLM がタスクの正確な確率の予測方法を学習できるように改良された損失関数を提案する。 評価結果から,学習時に見つからない論理的ルールであっても,得られた微調整モデルは非常に高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-09-24T16:19:25Z)
• On Lottery Tickets and Minimal Task Representations in Deep Reinforcement Learning [0.0]
  政策蒸留と強化学習によって訓練されたフィードフォワードネットワークは、同一の間隔で切断可能であることを示す。 事前設計したベースライン条件を用いて,強化学習における抽選券効果の大部分がマスクによるものであることが分かった。
  論文  参考訳（メタデータ） (2021-05-04T17:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。