論文の概要: Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control
- arxiv url: http://arxiv.org/abs/2606.22798v1
- Date: Mon, 22 Jun 2026 03:17:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 04:33:09.802389
- Title: Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control
- Title（参考訳）: 同じトケが同じ状態なのか? 共振制御の信号としてのMoEルーティング
- Abstract要約: 我々はtextbfRAD (Routing Agreement Decoding) を回答文字列のないマルチロールセレクタとして運用する。
固定アンカーを配置し、アンカーウィンドウのMoEルーティング状態によって各ロールアウトを表現し、最も密集したWeighted-Jaccard $K$-NNルートバスセンターを返す。
- 参考スコア（独自算出の注目度）: 53.43997385459622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In sparse Mixture-of-Experts language models, does the same token id imply the same router state and the same experts producing it? Holding the emitted token id fixed at repeated anchors, we find it does not: the experts that produce it still separate task context, trajectory history, and reasoning-effort mode. This residual structure supports test-time control: near \emph{boundary} anchors (the final-response transition) and \emph{delimiter} anchors (which open the answer, e.g.\ \texttt{\textbackslash boxed\{} or code fences), routing neighborhoods already align with final-answer basins at a marker-only readout and strongest when the routing is read at the answer opening. We operationalize this as \textbf{RAD} (Routing Agreement Decoding), an answer-string-free multi-rollout selector: it locates a fixed anchor, represents each rollout by its anchor-window MoE routing states, and returns the densest Weighted-Jaccard $K$-NN route-basin center, without parsing, normalizing, executing, or voting over answer strings. Across 10 sparse-MoE configurations (gpt-oss, Qwen3-MoE) and 6 datasets spanning math, GPQA, and code, RAD is on par with Majority where string voting is well-posed, with small positive paired deltas (RAD $73.9$ / RAD+DC $74.2$ vs.\ Majority $73.6$). Like majority voting, RAD is not a verifier: a dense \emph{wrong} basin can still win. Its value is the interface: the same selector gives direct pass@1 on code, where exact-string voting is ill-defined, and the same routing-density principle, re-anchored to the agentic boundary, improves best-of-16 patch selection on SWE-bench Verified over random, where patches have no answer string to vote on.
- Abstract（参考訳）: sparse Mixture-of-Experts言語モデルでは、同じトークンIDが同じルータ状態とそれを生成する専門家を暗示しているか?
繰り返しアンカーで固定されたトークンIDを保持すると、そうはなりません:それを生成する専門家は、タスクコンテキストの分離、軌跡履歴、推論-実行モードをまだ生成しています。
この残余構造はテスト時間制御をサポートしている: near \emph{boundary} anchors (final-response transition) と \emph{delimiter} anchors (e g \ \textt{\textbackslash boxed\{} または code fences) 、ルーティング地区は、既にfinal-answer basinsとマーカのみのリードアウトで整列しており、ルーティングが応答オープニングで読み込まれるときに最強である。
固定アンカーの位置を特定し、アンカーウィンドウのMOEルーティング状態によって各ロールアウトを表現し、最も密度の高いWeighted-Jaccard $K$-NNルートベースセンタを解析、正規化、実行、投票なしで返却する。
10個のスパース-MoE構成(gpt-oss、Qwen3-MoE)と、数学、GPQA、コードにまたがる6つのデータセットのうち、RADは、文字列投票が適切に設定されているMajorityと同等であり、小さな正のペアデルタ(RAD 7.3.9$ / RAD+DC 7.4.2$ vs.
背番号は73.6ドル。
多数決と同様に、RADは検証子ではない: 密度の高い 'emph{wrong} 盆地は依然として勝利できる。
同じセレクタがコード上で直接pass@1を与え、正確な文字列投票が不定義であり、同じルーティング-密度の原則がエージェント境界に再登録され、ランダムにSWE-benchで検証された16のパッチ選択が改善される。
関連論文リスト
- Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - Directional Contextual Representations for Dependency Relations: Why Cross-Direction Pairing Fails [22.49571926071395]
トークンの前方状態とエンファンシデントの後方状態(クロス・ディレクションのペアリング,$F_i$ vs. $B_j$)とのペアリングが一貫して同一方向ペアリングを行い,ペナルティ・アンファングロウは縮小せず,トークン距離が有意であることを示す。
論文 参考訳（メタデータ） (2026-08-21T00:50:25Z) - Long-Horizon State Tracking in LLMs: Executing MD5 through a Deep Sequence of Dependent Tool Calls [0.5097809301149342]
ロングホライゾンタスクは、大きな言語モデル(LLM)評価では珍しくない。
LLMが多数のツールコールにまたがって、正確な中間状態を持てるかどうかをテストする。
モデル自身の推論をそれぞれの順番でコンテキストに保ち、思考可能な労働者に投票してモジュラー・アセスメティックス・スリップを除去する、という2つの要素が成功を決定づける。
論文 参考訳（メタデータ） (2026-08-02T09:38:02Z) - Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。
小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。
LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
論文 参考訳（メタデータ） (2026-06-24T03:42:44Z) - What Context Does a Coding Agent Actually Need to Act? [0.0]
現代的なコーディングエージェントは、リポジトリ全体をコンテキストウィンドウに保持することができる。
エージェントがいつコードをエンフェディットしなければならないかを調査する。
SWE-bench Verified上で、実際の課題解決に対してコンテキストをスコアする。
論文 参考訳（メタデータ） (2026-06-19T04:22:17Z) - Isolating LLM Alignment from Regex: Zero Coverage and Metric-Dependent Divergence Under Adversarial Mutation [51.56484100374058]
以前の作業では、アクティブフィルタの背後にライブのGeminiバックエンドを追加することで、測定可能なカバレッジが得られなかった。
L_4$-real(Gemini-2.5-flash, token-budget cap, rate limit, output scrub)と同様の$L_5$-no-regexを導入するが、9パターンフィルタは無効である。
3つのサブ言語にまたがる敵対的プローブに対して評価を行った。
論文 参考訳（メタデータ） (2026-06-12T18:54:24Z) - When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models [27.942734943134983]
Mixture-of-Experts (MoE)言語モデルは、各トークンを専門家の小さなサブセットにルーティングする。
検証された推論軌道において,各標準経路を同一のトークンに対してサンプル化された等価な代替手段と比較し,実効トークンに割り当てる次の確率でスコアする。
標準ルータは信頼性の高いトークンではルートユーティリティと整合性があるが、ハード推論を駆動する脆弱なトークンでは非形式的である。
論文 参考訳（メタデータ） (2026-05-08T05:26:09Z) - AnchorSeg: Language Grounded Query Banks for Reasoning Segmentation [56.21301367698041]
AnchorSegを導入し、画像トークン上での条件生成の構造化として、推論セグメンテーションを再構成する。
我々は、アンカークエリがローカライズ信号を決定する画像トークン上の因子分布として空間条件をモデル化する。
Token-Mask Cycle Consistency (TMCC)を提案する。
論文 参考訳（メタデータ） (2026-04-20T17:49:22Z) - PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。
textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
論文 参考訳（メタデータ） (2026-03-30T23:52:54Z) - Think in Parallel, Answer as One: Logit Averaging for Open-Ended Reasoning [102.13989674248116]
ThinkMergeは、トレーニング不要でプラグ&プレイのデコード戦略だ。
並列推論トレースをKで実行し、同期点における次のTokenロジットを平均化し、単一のコヒーレントな出力を生成する。
論文 参考訳（メタデータ） (2025-12-02T15:35:31Z) - Natural Language Edge Labelling: Decoupling Intent from Execution in Structured LM Reasoning [0.0]
本稿では,各検索エッジに自由形式の自然言語ディレクティブを付加するラベルラタオーバーレイであるNature Language Edge Labelling (NLEL)を紹介する。
NLEL は CoT/ToT を厳密に一般化し、ラベル付きバンドルの下でのトップ$k$選択の時空単調性を証明し、制御ベクトル歪みによりセレクタ不足を限定する。
論文 参考訳（メタデータ） (2025-10-06T14:00:02Z) - Auditable Early Stopping for Agentic Routing: Ledger-Verified Run-Wise Certificates under Local DP [0.0]
ツール・ユース・エージェントのための最優先ルータが、よい葉を欠くことなく探索を止められるようになれば、私たちは対処します。
本稿では,各ノードのキーを,葉の摂動を実現する指数関数レースに結合するランワイズ証明書を提案する。
合成グラフと小さな実パイプラインの実験は、厳密な停止、決定論的リプレイ、オーバーヘッドの低さを示している。
論文 参考訳（メタデータ） (2025-09-09T01:25:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。