論文の概要: Whose Effect Is It? How Objectives Inflate Learned Subspace Interventions

• arxiv url: http://arxiv.org/abs/2611.05033v1
• Date: Tue, 03 Nov 2026 15:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 14:57:09.427225
• Title: Whose Effect Is It? How Objectives Inflate Learned Subspace Interventions
• Title（参考訳）: どのような効果があるのか? 学習したサブスペースの介入に目的がどう影響するか
• Abstract要約: コピーする部分を学ぶメソッドは、状態全体よりも出力を変えることが多い。 その読み方によって、学習した部分はよりきれいに概念を分離する。 状態全体をコピーすることは何も学習しないので、ネットワークが生成する情報を表示する。
• 参考スコア（独自算出の注目度）: 0.7734726150561086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability often locates concepts by copying part of a language model's state from one input into another (activation patching). A larger output change counts as stronger evidence that this part carries the concept. Methods that learn which part to copy often change the output more than the whole state does. By that reading, learned parts isolate the concept more cleanly. Yet the whole contains the part. So whose effect is this excess, the network's or the method's? Copying the whole state learns nothing, so it shows what the network produces. We prove that, to first order, the effects of orthogonal parts add up to that of the whole. A part therefore exceeds the whole exactly when the rest moves the output back, which does not require isolating the concept more cleanly. Objectives that reward a larger effect select such parts. Distributed alignment search with cross-entropy, for example, exceeds the whole-state copy just before the output on almost all tasks, and inside the network at most sites. In both, changing only its objective to target what the network produces removes most of the excess. It therefore comes largely from the objective, so a larger learned effect alone is not stronger evidence.
• Abstract（参考訳）: 解釈可能性はしばしば、ある入力から別の入力(アクティベーションパッチ)に言語モデルの状態をコピーすることで概念を見つける。 より大きな出力変更は、この部分が概念を持っているというより強い証拠として数えられる。 コピーする部分を学ぶメソッドは、状態全体よりも出力を変えることが多い。 その読み方によって、学習した部分はよりきれいに概念を分離する。 しかし、全体は部分を含んでいる。 では、この過剰な効果は、ネットワークか、あるいはメソッドか? 状態全体をコピーすることは何も学習しないので、ネットワークが生成する情報を表示する。 まず第一に、直交部分の影響が全体の影響に重なることを証明します。 したがって、残りの部分が出力を戻すと、その部分は完全に超え、概念をよりきれいに分離する必要がなくなる。 より大きな効果を報いる目的は、そのような部分を選択する。 例えば、クロスエントロピーによる分散アライメント検索は、ほとんどのタスクで出力される直前に、ほとんどのサイトにおいて、全体のコピーを超える。 どちらも、ネットワークが生成するものをターゲットとする目的だけを変更することで、過剰な部分の大半を取り除きます。 したがって、これは主に目的から来ているため、より大きな学習効果だけではより強力な証拠ではない。

関連論文リスト

• LLM2R: From Large Language Models to 3D Reassemblers [72.90531293039714]
  プリトレーニングされたデコーダのみの大規模言語モデル(LLM)を用いて、部分集合をシーケンスモデルとしてキャストするLLM2Rを提案する。 LLMは、1つの前方通過でシーケンスを処理します。しかし、因果的な注意は、ある部分の隠れた状態がその前にある部分のみを観察します。 LLMは、PartNetの3つのカテゴリにおいて、最も高い部分精度と成功率、最高の回転誤差、翻訳誤差、PartNeXtにおける部分精度、そして最も低い翻訳誤差とBreaking Badにおける最速の推論を実現している。
  論文  参考訳（メタデータ） (2026-10-13T15:57:41Z)
• Contrastive Abstraction for Reinforcement Learning [8.380148441566604]
  我々は抽象状態を見つけるために、対照的な抽象学習を提案する。 このような抽象状態は、基本的な場所、達成されたサブゴール、在庫、健康状態である。 本実験は,強化学習におけるコントラスト抽象学習の有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-01T13:56:09Z)
• Diagnosing Catastrophe: Large parts of accuracy loss in continual learning can be accounted for by readout misalignment [0.0]
  データ分散の変更に関するニューラルネットワークのトレーニングは、古いタスクのパフォーマンスを急速に低下させる。 本稿では,この性能を損なう表現的変化について検討し,この現象を考慮に入れた3つの異なる過程を同定する。
  論文  参考訳（メタデータ） (2023-10-09T11:57:46Z)
• Copy Suppression: Comprehensively Understanding an Attention Head [3.392501679658292]
  GPT-2スモールに1つの注意ヘッドを配置し、トレーニング分布全体において1つの主要な役割を担っている。 また,L10H7は,モデルキャリブレーションの全般的向上に寄与するナイーブコピー動作を抑えることを示した。 自己修復はいくつかのメカニズムによって実施され、そのうちの1つはコピー抑制であり、狭いタスクにおける行動の39%が説明できる。
  論文  参考訳（メタデータ） (2023-10-06T23:37:24Z)
• Sharpness-Aware Minimization Leads to Low-Rank Features [49.64754316927016]
  シャープネス認識最小化(SAM)は、ニューラルネットワークのトレーニング損失を最小限に抑える手法である。 SAMはニューラルネットワークの異なる層で発生する特徴ランクを減少させる。 我々はこの効果を理論的に確認し、深層ネットワークでも起こりうることを確認する。
  論文  参考訳（メタデータ） (2023-05-25T17:46:53Z)
• On Expressivity of Height in Neural Networks [29.49793694185358]
  私たちは、幅、深さ、高さが特徴のニューラルネットワークを3Dネットワークと呼んでいる。 我々は、同じ数のニューロンとパラメータを与えられた場合、幅$W$、深さ$K$、高さ$H$の3D ReLUネットワークは、幅$Htimes W$および深さ$K$の2Dネットワークよりも表現力が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-11T11:54:36Z)
• Look for the Change: Learning Object States and State-Modifying Actions from Untrimmed Web Videos [55.60442251060871]
  人間の行動は、しばしば「リンゴを切る」や「コーヒーを飲む」といった対象状態の変化を引き起こす。 我々は、対応する対象状態とともに、状態修正動作を協調学習するための自己教師型モデルを開発する。 本モデルでは,ノイズ適応重み付けモジュールを少数の注釈付静止画像で教師する。
  論文  参考訳（メタデータ） (2022-03-22T11:45:10Z)
• Unsupervised Part Discovery from Contrastive Reconstruction [90.88501867321573]
  自己監督型視覚表現学習の目標は、強く伝達可能な画像表現を学習することである。 対象部分の発見とセグメンテーションに対する教師なしアプローチを提案する。 本手法は, 細粒度, 視覚的に異なるカテゴリ間でセマンティックな部分を生成する。
  論文  参考訳（メタデータ） (2021-11-11T17:59:42Z)
• Unsupervised Part Discovery via Feature Alignment [15.67978793872039]
  我々はニューラルネットワークの特徴がニュアンス変数にほとんど不変であるという特性を利用する。 対応する特徴写像のアフィンアライメントを通して、同じポーズで同じオブジェクトカテゴリのインスタンスを示す類似した画像のセットを見つける。 推論中は、部品検出はシンプルで高速で、フィードフォワードニューラルネットワーク以外の追加モジュールやオーバーヘッドは不要である。
  論文  参考訳（メタデータ） (2020-12-01T07:25:00Z)
• Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect [64.41346045698144]
  長い尾の分類は、大規模なディープラーニングの鍵である。 既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。 本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
  論文  参考訳（メタデータ） (2020-09-28T00:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。