論文の概要: How Modular Is a Frontier Mixture-of-Experts? A Pre-registered Causal Test in Which Apparent Expert Modularity Mostly Dissolves

• arxiv url: http://arxiv.org/abs/2606.25092v1
• Date: Tue, 23 Jun 2026 18:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.121015
• Title: How Modular Is a Frontier Mixture-of-Experts? A Pre-registered Causal Test in Which Apparent Expert Modularity Mostly Dissolves
• Title（参考訳）: エクイティのフロンティアミクチャーはいかにモジュラーか? 未登録のカジュアルテストで明らかなモジュラリティが解消される
• Abstract要約: 我々は、ルーティングマスアトラスを構築し、6つのファミリー対軸仮説を事前登録し、サイズマッチングされたランダムエキスパートヌルに対して各ファミリーを推論時にアブレーションする。 4つのメトリクスで同じファミリーをテストし、信頼度の高いブートストラップ間隔で独立した独立したコーパスを実行します。 登録済みの6家族のうち、アラビア語族のうち1家族だけが独立したコーパスと保守的な統計的バーを生き残る清潔な選択的なモジュールである。
• 参考スコア（独自算出の注目度）: 0.08599681538174887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Mixture-of-Experts (MoE) models route each token to a few of many experts, inviting the hypothesis that experts form functional modules tied to capabilities or languages. We test this causally on Command A+, a frontier open-weights MoE (218B total / 25B active; 128 experts, 8 active, +1 shared). We build a routing-mass atlas, pre-register six family-to-axis hypotheses before any intervention, and ablate each family at inference time against a size-matched random-expert null, measuring whether it selectively breaks its own axis (worst off-target effect at most one third of on-target). Crucially, we test the same families under four metrics and a held-out, independent-corpus run with bootstrap confidence intervals. Our finding is cautionary: robust functional modularity is rare and measurement-dependent. Of six pre-registered families, only one, the Arabic-language family, is a clean selective module that survives an independent corpus and a conservative statistical bar (1/6; a more permissive pre-registered point rule admits 3/6, but that count is threshold-sensitive). Every other family has a real causal effect yet fails selectivity, and its apparent modularity flips with the measurement: with the corpus, the metric, and the statistical bar. A positive control on Qwen3-30B-A3B recovers its published disjoint structure, confirming the method detects modularity when present. The verdict reproduces on the un-quantized BF16 model, ruling out a 4-bit quantization artifact. We conclude that ablation-based modularity verdicts are not safe unless the corpus, metric, and statistical bar are controlled. We release the atlas and ablation data.
• Abstract（参考訳）: Sparse Mixture-of-Experts (MoE)モデルは、各トークンを少数の専門家にルートし、専門家が機能や言語に結びついた機能モジュールを形成するという仮説を提唱する。 私たちは、このことを、フロンティアオープンウェイトMoE(合計25B、専門家128人、アクティブ8人、共有+1人)のCommand A+で慎重にテストします。 我々は、経路質量アトラスを構築し、介入前に6つの家族対軸仮説を事前登録し、サイズにマッチしたランダム・エキスパート・ヌルに対して各家族を推論時にアブレーションし、それが自身の軸を選択的に破壊するかどうかを測定する(ターゲットの3分の1以上において標的外効果を抑える)。 重要なことは、私たちは4つの基準の下で同じ家族をテストし、ブートストラップの信頼区間を保留した独立したコーパスを実行します。 堅牢な機能的モジュール化はまれであり、測定に依存します。 6つの事前登録されたファミリーのうち、1つはアラビア語族であり、独立したコーパスと保守的な統計的バー(1/6、より寛容な事前登録されたポイントルールは3/6を認めるが、その数は閾値に敏感である)を生き残るクリーンな選択的なモジュールである。 他のすべての族は真の因果効果を持つが、選択性に失敗し、その明らかなモジュラリティは、コーパス、計量、統計バーとともに測定によって反転する。 Qwen3-30B-A3Bの正の制御は、公表された解離構造を復元し、その方法が現在あるときのモジュラリティを検出することを確認する。 評定は、4ビットの量子化アーティファクトを除外して、非量子化BF16モデルで再現する。 我々は、コーパス、メートル法、統計バーが制御されない限り、アブレーションに基づくモジュラリティの検証は安全ではないと結論づける。 アトラスおよびアブレーションデータをリリースする。

関連論文リスト

• When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models [0.0]
  1200の論理的結論の検証を依頼された言語モデルは、毎回YESに答える。 隠れた状態の線形プローブは、0.96 AUCで正しい判定を読み取った。 判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。 診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する。
  論文  参考訳（メタデータ） (2026-09-04T00:26:45Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation [0.0]
  フェデレーションクラスをフロンティアの大規模言語モデルで文書化する。 故障は最初の観測で再現されるが、経験的表面は不安定である。 規制されたフロンティアモデルの正確性は、注意を払わずにシフトする移動したコンプライアンス境界である。
  論文  参考訳（メタデータ） (2026-07-25T22:40:02Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• When Is Emergent Consensus Real? A Measured Coupling Gain and a Validity Diagnostic for LLM Agent Societies [1.2763567932588586]
  LLM「エージェント・ソサエティ」は、創発的なコンセンサスや偏光の実証を通じて研究される。 結果が真の社会的ダイナミクスなのか、あるいはモデルアーティファクトなのかは、テストされていない。 隣人の意見に逆らうことによって, 年齢ごとのカップリングゲイン+, 測定値について紹介する。
  論文  参考訳（メタデータ） (2026-06-20T19:41:01Z)
• Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment [53.50824432699408]
  Traits Run Deeperは、新しいパーソナリティアセスメントフレームワークである。 MFR(Multimodal Foundation Representation)、TSMF(Trit-Specific Modality Fusion)、DCPR(Distributed-Calibrated Personality Regression)の3つのコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2026-06-09T06:38:36Z)
• Measuring and Improving Behavioral Consistency in Large Language Models through Fact-Heuristic-Emotion State Enforcement [4.226475360842309]
  大規模言語モデル(LLM)は、実行中に同じ決定問題に対して異なる回答を与え、自身の事前回答がコンテキストとして返されるときにその決定を覆す。 モデル重みを変化させることなく、この不安定性を測定・部分的に低減できるかどうかを問う。 我々は,プロンプトレベルの状態強化層であるCognitive Kernel Model (CKM)をテストする。
  論文  参考訳（メタデータ） (2026-06-05T12:36:36Z)
• TUBE: Tangent Upper Bound on Evidence for Discrete Diffusion Language Models [47.0940918286083]
  本稿では,無バイアスモンテカルロ推定器を付加した対数的上界であるTangent Upper Bound on Evidence (TUBE)を紹介する。 私たちのTUBEは、マスク拡散モデル(MDM)、任意の順序ARM(AO-ARM)、両方のバリエーションのブロックを含む、潜在変数モデルにまたがる。
  論文  参考訳（メタデータ） (2026-05-22T23:48:25Z)
• Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation [0.0]
  大規模言語モデルが学習知識と矛盾する文書の相違にどのように対処するかを考察する。 本稿では,Regime 1 (単一ソース更新),Regime 2 (競合統合),Regime 3 (タスクに適した選択)という3つの登録フレームワークを提案する。 我々はClaude Sonnet 4.6、GPT-5.5、Gemini 2.5 Flash、Llama 4 Maverick、DeepSeek V3の3つの実験段階で9,970のAPIコールを使用してフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-05-12T06:00:48Z)
• The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
  CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。 トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。 利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
  論文  参考訳（メタデータ） (2026-04-28T13:35:31Z)
• Statistics, Not Scale: Modular Medical Dialogue with Bayesian Belief Engine [51.722324399751294]
  大規模言語モデルは、自律的な診断エージェントとしてますますデプロイされているが、基本的に異なる2つの機能を説明する。 本稿では,言語と推論を厳格に分離するモジュール型診断対話フレームワークBMBEを紹介する。
  論文  参考訳（メタデータ） (2026-04-21T21:59:57Z)
• How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
  共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。 実際には、これは相関した推論パターンと同期された障害として現れます。 ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
  論文  参考訳（メタデータ） (2026-04-08T23:32:06Z)
• Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
  大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。 ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。 我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
  論文  参考訳（メタデータ） (2026-01-29T21:26:50Z)
• Is BatchEnsemble a Single Model? On Calibration and Diversity of Efficient Ensembles [2.957223821964636]
  BatchEnsembleは、アンサンブルのような不確実性(EU)EUを、はるかに低いパラメータとメモリコストで提供することを目指している。 我々は,BatchEnsembleがDeep Ensemblesを過小評価するだけでなく,単一のモデルベースラインを密接に追跡していることを示す。
  論文  参考訳（メタデータ） (2026-01-23T17:50:50Z)
• Intention Collapse: Intention-Level Metrics for Reasoning in Language Models [0.0]
  この過程を、高次元の意図空間 I から外部言語空間 L への多対一の射影と呼ぶ。 我々は,3つのモデル非依存意図尺度(意図エントロピー,有効次元ディメフ,潜在知識回復可能性)を定義する。 200 GSM8K問題に対する4ビットMistral 7Bモデルを用いて,直解ベースライン,思考連鎖(CoT)レシエーション,バブル制御を比較した。
  論文  参考訳（メタデータ） (2026-01-03T00:19:53Z)
• Self-Harmony: Learning to Harmonize Self-Supervision and Self-Play in Test-Time Reinforcement Learning [48.14470449860784]
  テスト時強化学習(TTRL)は、推論時に合成信号のみを使用してモデルを適応するためのラベルなしパラダイムを提供する。 簡単な直感に基づくフレームワークであるSelf-Harmonyを紹介します。
  論文  参考訳（メタデータ） (2025-11-03T03:34:34Z)
• Independence Tests for Language Models [47.0749292650885]
  2つのモデルの重みを考えると、独立してトレーニングされたかどうかテストできますか? 制約付きと制約なしの2つの設定を検討します。 本稿では,2つのモデル間の隠れアクティベーションに一致し,逆変換やモデルアーキテクチャの変更に対して堅牢な新しいテストを提案する。
  論文  参考訳（メタデータ） (2025-02-17T20:01:08Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
  ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。 この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。 得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
  論文  参考訳（メタデータ） (2020-01-15T23:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。