論文の概要: Beyond the Trace: Coupling an Interpretable Reasoning-State Readout to Native MoE Routing
- arxiv url: http://arxiv.org/abs/2608.17638v1
- Date: Tue, 18 Aug 2026 10:56:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.312658
- Title: Beyond the Trace: Coupling an Interpretable Reasoning-State Readout to Native MoE Routing
- Title（参考訳）: トレースを超えて: ネイティブなMoEルーティングに解釈可能な推論状態の読み込みを結合する
- Abstract要約: 実験用混合推論のための2レベル内部読み出し手法を提案する。
ボキャブラリスケールのJ-空間を、モデル自身の推論状態から学習した64軸意味フレームであるJ64に初めて蒸留する。
そして、ネイティブの専門家による統計からJ64を再構築する。
- 参考スコア（独自算出の注目度）: 61.695980784491475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What a reasoning model writes is only a partial record of the process that produces it. We introduce a two-level internal readout for mixture-of-experts reasoning. We first distill vocabulary-scale J-space into J64, a 64-axis semantic frame learned from the model's own reasoning states. J64 reveals readable process state that the emitted trace does not show: it separates inference effort from problem-induced strain. It also adds 0.096 to 0.135 held-out AUC over a baseline that reads the same rollout as token occupancy and aggregates it in exactly the same way. We then reconstruct J64 from native expert-routing statistics. The result is R64, a low-overhead proxy: its median per-axis correlation with J64 is 0.69 to 0.86 across three models and two families, and on gpt-oss-20b it preserves 95 to 100% of J64's predictive gain. The readout supports test-time decisions at two temporal resolutions. Over completed candidate sets, J64 and R64 improve single-branch selection, and R64-weighted voting improves plain majority voting in seven of eight settings. During generation, rolling readout windows drive a cumulative stop-and-resample policy whose operating point is fixed on training questions alone. J64 improves accuracy by 1.1 to 5.9 points over a sibling-permuted control, and the routing-only R64 proxy retains 0.9 to 3.2 of those points. Finally, router edits aimed at the mechanism J64 names induce the predicted reasoning behaviors and shift a diagnosed stall from numerical guessing toward exact symbolic execution. Together, J64 makes latent process state readable, while routing makes it deployable and actionable.
- Abstract（参考訳）: 推論モデルが何を書いているかは、それを生成するプロセスの部分的な記録に過ぎません。
実験用混合推論のための2レベル内部読み出し手法を提案する。
ボキャブラリスケールのJ-空間を、モデル自身の推論状態から学習した64軸意味フレームであるJ64に初めて蒸留する。
J64は、出力されたトレースが示さない可読なプロセス状態を明らかにしている。
また、ベースライン上に0.096から0.135のホールトアウトAUCを追加し、トークン占有量と同じロールアウトを読み、全く同じ方法で集約する。
そして、ネイティブの専門家による統計からJ64を再構築する。
その結果、R64は低オーバーヘッドのプロキシであり、J64の3つのモデルと2つのファミリーで、その中央値は0.69から0.86であり、gpt-oss-20bでは、J64の予測利得の95から100%を保っている。
リードアウトは2つの時間分解でテスト時の決定をサポートする。
完成した候補セットによって、J64とR64はシングルブランチ選択を改善し、R64の重み付け投票は8つの設定のうち7つの単純な多数決を改善する。
世代間、ロールアウトウィンドウは、トレーニング問題だけで運用ポイントが固定された累積的な停止と再サンプリングのポリシーを駆動する。
J64は兄弟置換制御の精度を1.1から5.9ポイント改善し、ルーティングのみのR64プロキシは0.9から3.2ポイントを維持している。
最後に、J64名のメカニズムに着目したルータ編集を行い、予測された推論動作を誘導し、診断されたストールを数値的な推測から正確なシンボル実行へとシフトさせる。
同時に、J64は遅延処理の状態を読み取り、ルーティングはデプロイ可能で動作可能にします。
関連論文リスト
- Interface-Induced Trajectory Censoring [6.496285418517832]
サービススタックから読み取るツールコール率について報告する。
その数はゼロになり得るが、モデルが十分に整った呼び出しを出力している。
ファンネルを Qwen2.5-Coder の 21 倍の範囲で再現する。
論文 参考訳（メタデータ） (2026-09-03T15:00:31Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - QuoteBench: How Matched Scores Can Hide Command-Path Failures [30.480838412827907]
実行スコアだけでは、ジェネレーションエラーとジェネレーション後に導入された失敗を区別できない。
QuoteBenchはこの境界線を、インシデントから派生した14のファミリーから56のワンショットタスクに対して正確に最終状態の検証を行う。
コマンド発行エージェントの評価は、一致したスコアを本質的なモデル特性として扱うよりも、モデル構成、生成契約、実行経路、操作点、最終状態などを報告すべきである。
論文 参考訳（メタデータ） (2026-08-13T17:57:20Z) - Ready Cohorts: Bounding GPU Opportunity and Avoiding Host Round Trips in LLM-Agent Control [0.0]
固定シェアF, 正確なオフラインシェアP*, ローカルアッパーバウンドU, オンライン達成シェアAを用いて, 既定コホート境界を定式化する。
別のメカニズムの研究では、4バイトをホストに返さずに、GPUで計算されたバイナリ決定をデバイスに保持している。
論文 参考訳（メタデータ） (2026-08-12T14:42:15Z) - Policy-Masked Private Experts: Auditable and Reversible Capability Access Control in Sparse MoE Models [0.0]
Policy-Masked Private Expertsは、事前訓練されたスパース・ミックス・オブ・エキスパート(MoE)モデルを凍結し、非結合のエキスパートブランチをトレーニングし、トップkルーティングの前にパブリックまたはプライベートプールを選択する。
Qwen3-30B-A3BとDeepSeek-V2-Liteにおける実行制御とタスクユーティリティの分離をテストする。
論文 参考訳（メタデータ） (2026-08-07T01:39:36Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
言語モデルは、進行中の計算の質を読み取ることができるか?
外部介入は、その読み出しをより良い結果に変えることができるか?
凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
論文 参考訳（メタデータ） (2026-07-20T22:40:36Z) - Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control [53.43997385459622]
我々はtextbfRAD (Routing Agreement Decoding) を回答文字列のないマルチロールセレクタとして運用する。
固定アンカーを配置し、アンカーウィンドウのMoEルーティング状態によって各ロールアウトを表現し、最も密集したWeighted-Jaccard $K$-NNルートバスセンターを返す。
論文 参考訳（メタデータ） (2026-06-22T03:17:31Z) - RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。
18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。
その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
論文 参考訳（メタデータ） (2026-01-20T13:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。