論文の概要: Efficient Discovery of Approximate Causal Abstractions via Neural Mechanism Sparsification

• arxiv url: http://arxiv.org/abs/2602.24266v1
• Date: Fri, 27 Feb 2026 18:35:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.565479
• Title: Efficient Discovery of Approximate Causal Abstractions via Neural Mechanism Sparsification
• Title（参考訳）: 神経機構スカラー化による近似因果解離の効率的な発見
• Authors: Amir Asiaee,
• Abstract要約: ニューラルネットワークは解釈可能な因果機構を実装すると仮定される。 これを検証するには、因果抽象化を見つける必要があります -- 介入の下でネットワークに忠実な、よりシンプルでハイレベルな構造因果モデル(SCM)です。 我々は、構造的プルーニングを近似抽象の探索として見ることによって問題を再構築した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are hypothesized to implement interpretable causal mechanisms, yet verifying this requires finding a causal abstraction -- a simpler, high-level Structural Causal Model (SCM) faithful to the network under interventions. Discovering such abstractions is hard: it typically demands brute-force interchange interventions or retraining. We reframe the problem by viewing structured pruning as a search over approximate abstractions. Treating a trained network as a deterministic SCM, we derive an Interventional Risk objective whose second-order expansion yields closed-form criteria for replacing units with constants or folding them into neighbors. Under uniform curvature, our score reduces to activation variance, recovering variance-based pruning as a special case while clarifying when it fails. The resulting procedure efficiently extracts sparse, intervention-faithful abstractions from pretrained networks, which we validate via interchange interventions.
• Abstract（参考訳）: ニューラルネットワークは、解釈可能な因果メカニズムを実装すると仮定されているが、これを検証するには、因果抽象化を見つける必要がある。 このような抽象化の発見は難しい - 通常、ブルートフォースの相互干渉や再トレーニングを必要とします。 我々は、構造的プルーニングを近似抽象の探索として見ることによって問題を再構築した。 トレーニングされたネットワークを決定論的SCMとして扱うことにより,2次拡張が単位を定数に置き換えたり,隣接するものに折り畳んだりするためのクローズドな条件を導出するインターベンショナルリスク目標を導出する。 均一な曲率の下では、スコアはアクティベーションのばらつきに還元され、特定のケースとして分散ベースのプルーニングが回復すると同時に、それがいつ失敗するかを明確にする。 提案手法は、事前訓練されたネットワークから疎結合で干渉に富んだ抽象化を効率よく抽出し、相互干渉による検証を行う。

関連論文リスト

• Learning a Generative Meta-Model of LLM Activations [75.30161960337892]
  ネットワークの内部状態の分布を学習する"メタモデル"を作成します。 ステアリング介入前に学んだメタモデルを適用することで、損失が減少するにつれて、流速が向上する。 これらの結果は、生成的メタモデルが制限的な構造的仮定を伴わずに、解釈可能性へのスケーラブルな経路を提供することを示唆している。
  論文  参考訳（メタデータ） (2026-02-06T18:59:56Z)
• APEX: Probing Neural Networks via Activation Perturbation [10.517751599566548]
  本稿では,ニューラルネットワークの推論時間探索パラダイムとして Activation Perturbation for Exploration (APEX) を導入する。 APEXは入力とモデルパラメータの両方を固定しながら、隠れたアクティベーションを摂動する。 この結果から,APEXは入力空間からのみアクセス可能な範囲を超えて,ニューラルネットワークを探索し,理解するための効果的な視点を提供することが示された。
  論文  参考訳（メタデータ） (2026-02-03T14:36:36Z)
• Learning Consistent Causal Abstraction Networks [14.952578725545344]
  因果的人工知能は、構造因果モデル(SCM)を活用することにより、AIの説明可能性、堅牢性、信頼性を高めることを目的としている。 我々は一貫した抽象ネットワーク(CAN)に取り組む。 実験では、合成データの競合学習と多様なCAN構造の回復に成功した。
  論文  参考訳（メタデータ） (2026-02-02T16:16:29Z)
• Greedy Is Enough: Sparse Action Discovery in Agentic LLMs [11.62669179647184]
  経験的証拠は、少数のアクションだけが、所定のデプロイメントのパフォーマンスに有意義に影響を及ぼすことを示唆している。 この観察によって動機づけられた行動が構造化された空間性仮定によって制御される文脈線形報酬モデルについて検討する。 本研究は,スパース行動発見を大アクション意思決定の基礎となる基本原理とみなす。
  論文  参考訳（メタデータ） (2026-01-13T07:15:32Z)
• On Evolution-Based Models for Experimentation Under Interference [7.262048441360133]
  我々は、介入に応じて観察ラウンド間で結果がどのように変化するかを研究する進化に基づくアプローチについて研究する。 我々は、この手法のインスタンス化として、高密度ネットワークにおける因果メッセージパッシングを強調した。 このアプローチの限界について議論し、強い時間的傾向や内因性干渉が識別を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2025-11-26T18:53:46Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Finding Alignments Between Interpretable Causal Variables and Distributed Neural Representations [62.65877150123775]
  因果抽象化は、説明可能な人工知能のための有望な理論的枠組みである。 既存の因果抽象法では、高レベルモデルと低レベルモデルの間のアライメントをブルートフォースで探索する必要がある。 これらの制約を克服する分散アライメントサーチ(DAS)を提案する。
  論文  参考訳（メタデータ） (2023-03-05T00:57:49Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。