論文の概要: From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models

• arxiv url: http://arxiv.org/abs/2606.10703v2
• Date: Tue, 16 Jun 2026 11:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 15:01:46.51743
• Title: From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models
• Title（参考訳）: 観察からインターベンションへ:Mixture-of-Expertsモデルにおけるエキスパートの重要性の因果監査
• Authors: Leonard Engmann, Christian Medeiros Adriano, Holger Giese,
• Abstract要約: 本研究では,Mixture-of-Experts (MoE) プルーニングにおけるルーティング統計の利用について検討する。 あらゆるモデルにおいて因果的専門家の重要性を予測する観察的指標は見つからない。 以上の結果から, 人口レベルの観察結果から, 専門家の重要度に関するトークンレベルの介入主張まで, 共通の推論段階に対する明確な反例が得られた。
• 参考スコア（独自算出の注目度）: 0.2230291569252836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability methods routinely use population-level summary statistics over observed model behaviour to license claims about the effects of targeted interventions on specific computations; in Pearl's terms, they treat rung-1 associational evidence as if it supported rung-2 interventional conclusions, a move whose validity is rarely tested. We examine one concrete instance: the use of routing statistics in Mixture-of-Experts (MoE) pruning, where utilization rates, activation norms, and routing weight distributions are treated as predictors of which experts can be removed without functional cost. A token-level interventional audit across three high-redundancy MoE architectures (OLMoE-1B-7B-0924, Qwen1.5-MoE-A2.7B, DeepSeek-V2-Lite) finds no observational metric predicts causal expert importance in any model: across all 60 metric-layer combinations effect sizes stay below Cohen's $d = 0.23$, and no metric is reliably positive under our corrected, dual-test criterion. A per-token routing weight control, run with identical $n$, rules out insufficient power, recovering a signal whose CI excludes zero at OLMoE's final MoE layer ($d = +0.231$, 95\% CI $[+0.09, +0.37]$, $p = 0.0013$). Existing pruning methods succeed in this regime not by identifying dispensable experts but because early-layer redundancy renders most selection criteria interchangeable. Our results provide an explicit counterexample to the common inferential step from population-level observational summaries to token-level interventional claims about expert importance, and illustrate how interventional audits can calibrate the evidential standards for interpretability claims.
• Abstract（参考訳）: 解釈可能性法は、観察されたモデル行動に関する人口レベルの要約統計を、特定の計算に対する標的介入の影響に関するライセンス請求に常用する; パールの言葉では、彼らはrung-1の関連証拠を、まるでrung-2の介入結論を支持したかのように扱う。 そこでは,Mixture-of-Experts (MoE) プルーニングにおけるルーティング統計の利用,利用率,アクティベーション基準,ルーティングウェイト分布を,機能的コストなしで専門家を排除できる予測器として扱う。 高冗長な3つのMoEアーキテクチャ(OLMoE-1B-7B-0924、Qwen1.5-MoE-A2.7B、DeepSeek-V2-Lite)にわたるトークンレベルの介入監査では、あらゆるモデルにおいて因果的専門家の重要性を予測できない。 1トーケンのルーティングウェイトコントロールは、同一の$n$で実行され、不足電力を制御し、OLMoEの最終MoE層でゼロを除いたシグナル(d = +0.231$, 95\% CI $[+0.09, +0.37]$, $p = 0.0013$)を回復する。 既存のプルーニング手法は、使い捨ての専門家を識別するのではなく、初期層の冗長性によってほとんどの選択基準が交換可能であるため、この体制で成功する。 本研究の結果は,集団レベルの観察要約から専門家の重要度に関するトークンレベルの介入主張への共通推論段階への明確な反例を示し,介入監査が解釈可能性に関する明らかな基準を校正する方法を示すものである。

関連論文リスト

• Causal Inference with Categorical Unobserved Confounder via Mixture Learning [20.542714966688656]
  未保存の共同創設者が適切な条件下でカテゴリー化されている場合、因果効果が識別可能であることを示す。 本稿では, テンソル分解に基づく推定手法を提案する。
  論文  参考訳（メタデータ） (2026-05-18T18:28:16Z)
• Active Multiple-Prediction-Powered Inference [2.1710524042938073]
  医療のデプロイ後のモニタリングには統計的に有効なラベル効率の方法が必要であるが、クリニックチャートのゴールドスタンダードラベルは高価である。 我々は,各インスタンスをコスト適切な予測器にルーティングし,金標準ラベルを比例してサンプリングし,単一のデプロイ時間に予測を再現する予測能動型推論(AM-PPI)を提案する。
  論文  参考訳（メタデータ） (2026-05-08T19:48:57Z)
• How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
  共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。 実際には、これは相関した推論パターンと同期された障害として現れます。 ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
  論文  参考訳（メタデータ） (2026-04-08T23:32:06Z)
• Scalable Contrastive Causal Discovery under Unknown Soft Interventions [3.165716101116899]
  本稿では,2つの観測と干渉のペア化のためのスケーラブルな因果探索モデルを提案し,その基礎構造と未知のソフト介入について述べる。 合成データの実験では、因果構造回復の改善、保持された因果機構を持つ未知のグラフへの一般化、より大きなグラフへのスケーラビリティが示されている。
  論文  参考訳（メタデータ） (2026-03-03T18:16:16Z)
• STAR : Bridging Statistical and Agentic Reasoning for Large Model Performance Prediction [78.0692157478247]
  本稿では,知識駆動型エージェント推論を用いて,データ駆動型静的予測を橋渡しするフレームワークSTARを提案する。 STARはスコアベースとランクベースの両方の基準線を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-12T16:30:07Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Flexible Nonparametric Inference for Causal Effects under the Front-Door Model [2.6900047294457683]
  本研究では, 平均治療効果, 平均治療効果の両面から, 新規な1段階, 目標最小損失ベース推定装置を開発した。 我々の推定器は観測されたデータ分布のパラメータ化に基づいて構築され、メディエータ密度を完全に回避するアプローチを含む。 因果効果推定器の効率を向上させるためにこれらの制約をどのように活用できるかを示す。
  論文  参考訳（メタデータ） (2023-12-15T22:04:53Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
  本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。 本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
  論文  参考訳（メタデータ） (2020-06-09T20:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。