論文の概要: Individual Parameters in Weight-Sparse Transformers Appear Interpretable

• arxiv url: http://arxiv.org/abs/2607.02964v1
• Date: Fri, 03 Jul 2026 05:15:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.476742
• Title: Individual Parameters in Weight-Sparse Transformers Appear Interpretable
• Title（参考訳）: ウェイトスパース変圧器の個別パラメータの解釈
• Abstract要約: 機械的解釈可能性の中心的な目標は、ニューラルネットワークがどのように機能し、個々のコンポーネントが何をするかを理解することである。 本研究では,一重みが,いつ重要なのかを特徴付けることで,全トレーニング分布にわたって世界規模で理解できるかどうかを問う。
• 参考スコア（独自算出の注目度）: 0.7128080962281788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central goal of mechanistic interpretability is to understand how neural networks work and what each individual component does. Dominant circuit-finding approaches focus on a specific behavior and reverse-engineer the role of components on the associated sub-distribution. However, past work has shown that components can have different functions that are active on different subsets of the input distribution. In this work we ask whether a single weight can be understood globally across the full training distribution by characterizing when it matters (the inputs on which ablating it changes the model's predictions). We introduce an automated LLM pipeline that writes a short, human-readable description of when a weight matters and verifies it on held-out text, crediting a weight only if its description generalizes. Across two sparse and two dense transformers, the fraction of weights that are interpretable (in this sense) is higher in sparse transformers than in dense ones, a gap that widens once unreliable descriptions are discarded. Our results show that a meaningful fraction of a sparse transformer model's weights can be interpreted: 12 to 31% of weights have a single short description that identifies what the weight is used for.
• Abstract（参考訳）: 機械的解釈可能性の中心的な目標は、ニューラルネットワークがどのように機能し、個々のコンポーネントが何をするかを理解することである。 支配的なサーキットフィニングアプローチは、特定の振る舞いに焦点を当て、関連するサブディストリビューションにおけるコンポーネントの役割をリバースエンジニアリングする。 しかし、過去の研究によると、コンポーネントは入力分布の異なるサブセットでアクティブな異なる関数を持つことができる。 本研究では,それがいつ重要か(モデルを非難する入力がモデルの予測を変える)を特徴付けることによって,全トレーニング分布全体にわたって,単一の重みがグローバルに理解できるかどうかを問う。 我々は,LLMパイプラインを自動で導入し,重みがいつ重要かの簡潔かつ可読な記述を記述し,その記述が一般化した場合のみ重みを信用する。 2つのスパースと2つの密度変換器の間に、(この意味では)解釈可能なウェイトの割合は、密度変換器においてより高く、信頼できない記述を一度拡大したギャップは破棄される。 以上の結果から,スパース変圧器モデルの重みの有意な部分の解釈が可能であることが示唆された。

関連論文リスト

• Fixed Universal Transformers [50.35639171254542]
  本稿では,任意のクラス内の任意の変圧器を適切な入力埋め込みによりシミュレートできる固定変圧器について紹介する。 埋め込み次元が十分に大きい場合に、普遍性を達成する明示的なスパース構成を提供する。 以上の結果から,変圧器の表現力の大部分は,学習した重みよりも入力表現に留まる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-29T15:22:06Z)
• Transformers converge to invariant algorithmic cores [0.0]
  GPT-2言語モデルは、単一の軸によって主語と動詞の一致を制御し、反転すると、スケールをまたいだ文法番号を反転させる。 機械的解釈可能性(Mechanistic interpretability)は、実装固有の詳細ではなく、計算の本質であるそのような不変量をターゲットにすることの恩恵を受ける。
  論文  参考訳（メタデータ） (2026-02-26T04:09:11Z)
• Equivalence of Context and Parameter Updates in Modern Transformer Blocks [8.364690240329411]
  近年の研究では、バニラ変圧器における文脈の影響は、トークン依存のランク1パッチを重みに形成することで暗黙的に表現できることが判明している。 まず、Gemmaスタイルのトランスフォーマーブロックの正確な解析解を示し、コンテキストの効果をランク1パッチに完全にマッピングできることを証明した。 次に、この結果を一般化し、多層モデルに対する構築的証明とアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2025-11-22T01:17:15Z)
• Weight-sparse transformers have interpretable circuits [4.237686583992518]
  重みのほとんどをゼロに制約することで、より理解可能な回路を持つようにモデルを訓練する。 いくつかの手作り作業の根底にあるきめ細かい回路を復元する。 我々の研究は、前例のないレベルの人間の理解力を達成する回路を生み出している。
  論文  参考訳（メタデータ） (2025-11-17T18:02:06Z)
• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
  In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。 本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T16:47:46Z)
• Transformers Can Represent $n$-gram Language Models [56.06361029539347]
  本稿では,言語モデルの単純かつ歴史的なクラスであるトランスフォーマーLMと$n$-gram LMの関係に注目した。 ハードまたはスパースアテンション機構を用いたトランスフォーマーLMは,任意の$n$-gram LMを正確に表現できることを示す。
  論文  参考訳（メタデータ） (2024-04-23T12:51:37Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Analyzing Transformers in Embedding Space [59.434807802802105]
  学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。 予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。 我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
  論文  参考訳（メタデータ） (2022-09-06T14:36:57Z)
• A Dual Weighting Label Assignment Scheme for Object Detection [16.69887974230884]
  ラベル割り当て(LA)は、各トレーニングサンプルに正(pos)と負(neg)の損失重みを割り当てることを目的としている。 既存のLA法は主にポス重み関数の設計に重点を置いており、ネグ重みはポス重みから直接導かれる。 本稿では,2重み付け(DW)と呼ばれる新しい重み付けパラダイムを提案し,ポーとネグの重みを別々に指定する。
  論文  参考訳（メタデータ） (2022-03-18T04:04:54Z)
• More Identifiable yet Equally Performant Transformers for Text Classification [13.439554931699695]
  変圧器の予測は、注意重み、すなわち自己注意単位(頭部)で生じる確率分布によって広く説明される。 現在の実証研究は、注意重みが特異でないことを証明することによって説明できないという証拠のシャーレを提供している。 頭部への所定の入力とその出力について、注意重みがユニークであれば、重みを識別可能と呼ぶ。 我々は、キーと値ベクトルの関係を分離し、入力の所望の長さまで同定可能な重みを与えるエンコーダ層の変種を提供する。
  論文  参考訳（メタデータ） (2021-06-02T16:21:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。