論文の概要: Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control

• arxiv url: http://arxiv.org/abs/2606.22798v1
• Date: Mon, 22 Jun 2026 03:17:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 04:33:09.802389
• Title: Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control
• Title（参考訳）: 同じトケが同じ状態なのか? 共振制御の信号としてのMoEルーティング
• Authors: Kang Chen, Minshen Yu, Junjie Nian, Yaoning Wang, Yixin Cao, Yugang Jiang,
• Abstract要約: 我々はtextbfRAD (Routing Agreement Decoding) を回答文字列のないマルチロールセレクタとして運用する。 固定アンカーを配置し、アンカーウィンドウのMoEルーティング状態によって各ロールアウトを表現し、最も密集したWeighted-Jaccard $K$-NNルートバスセンターを返す。
• 参考スコア（独自算出の注目度）: 53.43997385459622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In sparse Mixture-of-Experts language models, does the same token id imply the same router state and the same experts producing it? Holding the emitted token id fixed at repeated anchors, we find it does not: the experts that produce it still separate task context, trajectory history, and reasoning-effort mode. This residual structure supports test-time control: near \emph{boundary} anchors (the final-response transition) and \emph{delimiter} anchors (which open the answer, e.g.\ \texttt{\textbackslash boxed\{} or code fences), routing neighborhoods already align with final-answer basins at a marker-only readout and strongest when the routing is read at the answer opening. We operationalize this as \textbf{RAD} (Routing Agreement Decoding), an answer-string-free multi-rollout selector: it locates a fixed anchor, represents each rollout by its anchor-window MoE routing states, and returns the densest Weighted-Jaccard $K$-NN route-basin center, without parsing, normalizing, executing, or voting over answer strings. Across 10 sparse-MoE configurations (gpt-oss, Qwen3-MoE) and 6 datasets spanning math, GPQA, and code, RAD is on par with Majority where string voting is well-posed, with small positive paired deltas (RAD $73.9$ / RAD+DC $74.2$ vs.\ Majority $73.6$). Like majority voting, RAD is not a verifier: a dense \emph{wrong} basin can still win. Its value is the interface: the same selector gives direct pass@1 on code, where exact-string voting is ill-defined, and the same routing-density principle, re-anchored to the agentic boundary, improves best-of-16 patch selection on SWE-bench Verified over random, where patches have no answer string to vote on.
• Abstract（参考訳）: sparse Mixture-of-Experts言語モデルでは、同じトークンIDが同じルータ状態とそれを生成する専門家を暗示しているか? 繰り返しアンカーで固定されたトークンIDを保持すると、そうはなりません:それを生成する専門家は、タスクコンテキストの分離、軌跡履歴、推論-実行モードをまだ生成しています。 この残余構造はテスト時間制御をサポートしている: near \emph{boundary} anchors (final-response transition) と \emph{delimiter} anchors (e g \ \textt{\textbackslash boxed\{} または code fences) 、ルーティング地区は、既にfinal-answer basinsとマーカのみのリードアウトで整列しており、ルーティングが応答オープニングで読み込まれるときに最強である。 固定アンカーの位置を特定し、アンカーウィンドウのMOEルーティング状態によって各ロールアウトを表現し、最も密度の高いWeighted-Jaccard $K$-NNルートベースセンタを解析、正規化、実行、投票なしで返却する。 10個のスパース-MoE構成(gpt-oss、Qwen3-MoE)と、数学、GPQA、コードにまたがる6つのデータセットのうち、RADは、文字列投票が適切に設定されているMajorityと同等であり、小さな正のペアデルタ(RAD 7.3.9$ / RAD+DC 7.4.2$ vs. 背番号は73.6ドル。 多数決と同様に、RADは検証子ではない: 密度の高い 'emph{wrong} 盆地は依然として勝利できる。 同じセレクタがコード上で直接pass@1を与え、正確な文字列投票が不定義であり、同じルーティング-密度の原則がエージェント境界に再登録され、ランダムにSWE-benchで検証された16のパッチ選択が改善される。

関連論文リスト

• When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models [27.942734943134983]
  Mixture-of-Experts (MoE)言語モデルは、各トークンを専門家の小さなサブセットにルーティングする。 検証された推論軌道において,各標準経路を同一のトークンに対してサンプル化された等価な代替手段と比較し,実効トークンに割り当てる次の確率でスコアする。 標準ルータは信頼性の高いトークンではルートユーティリティと整合性があるが、ハード推論を駆動する脆弱なトークンでは非形式的である。
  論文  参考訳（メタデータ） (2026-05-08T05:26:09Z)
• AnchorSeg: Language Grounded Query Banks for Reasoning Segmentation [56.21301367698041]
  AnchorSegを導入し、画像トークン上での条件生成の構造化として、推論セグメンテーションを再構成する。 我々は、アンカークエリがローカライズ信号を決定する画像トークン上の因子分布として空間条件をモデル化する。 Token-Mask Cycle Consistency (TMCC)を提案する。
  論文  参考訳（メタデータ） (2026-04-20T17:49:22Z)
• PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
  大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。 textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
  論文  参考訳（メタデータ） (2026-03-30T23:52:54Z)
• Think in Parallel, Answer as One: Logit Averaging for Open-Ended Reasoning [102.13989674248116]
  ThinkMergeは、トレーニング不要でプラグ&プレイのデコード戦略だ。 並列推論トレースをKで実行し、同期点における次のTokenロジットを平均化し、単一のコヒーレントな出力を生成する。
  論文  参考訳（メタデータ） (2025-12-02T15:35:31Z)
• Natural Language Edge Labelling: Decoupling Intent from Execution in Structured LM Reasoning [0.0]
  本稿では,各検索エッジに自由形式の自然言語ディレクティブを付加するラベルラタオーバーレイであるNature Language Edge Labelling (NLEL)を紹介する。 NLEL は CoT/ToT を厳密に一般化し、ラベル付きバンドルの下でのトップ$k$選択の時空単調性を証明し、制御ベクトル歪みによりセレクタ不足を限定する。
  論文  参考訳（メタデータ） (2025-10-06T14:00:02Z)
• Auditable Early Stopping for Agentic Routing: Ledger-Verified Run-Wise Certificates under Local DP [0.0]
  ツール・ユース・エージェントのための最優先ルータが、よい葉を欠くことなく探索を止められるようになれば、私たちは対処します。 本稿では,各ノードのキーを,葉の摂動を実現する指数関数レースに結合するランワイズ証明書を提案する。 合成グラフと小さな実パイプラインの実験は、厳密な停止、決定論的リプレイ、オーバーヘッドの低さを示している。
  論文  参考訳（メタデータ） (2025-09-09T01:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。