Fugu-MT 論文翻訳(概要): Expanding LLM Reasoning

論文の概要: Expanding LLM Reasoning

arxiv url: http://arxiv.org/abs/2610.05584v1
Date: Sun, 04 Oct 2026 22:40:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 12:50:34.030483
Title: Expanding LLM Reasoning
Title（参考訳）: LLM推論の拡張
Abstract要約: 拡張ユーティリティを定義し、9つのモデルに対して任意のステップで測定する。 1組の連続で選択されたステップは、解離したセットで得点した場合、均一な配置を破る。最後の許容段階から再起動する固定ルールは、常にラストであり、強いベースラインである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Extra inference compute is usually spent on sampling more reasoning chains. We study where inside an existing chain an additional continuation should begin. We define expansion utility, the change in correctness from restarting a chain at a stored step, and measure it at every eligible step for nine models on six benchmarks (41 model and benchmark cells). Restart position matters: steps selected on one set of continuations beat uniform placement when scored on disjoint ones, in held-out audits on 5, 16, and 38 cells (+4.25 points [+2.51, +6.63] in a fresh five-cell audit). A fixed rule that restarts from the last eligible steps, always-last, is a strong baseline: our learned router beats uniform placement but shows no detected gain over it, and on DeepSeek-R1-Distill-Qwen-14B/MATH-500 always-last exceeds the exact self-consistency frontier at matched aggregate generated output by +0.052 [+0.008, +0.098], using 0.774x the aggregate generated output of four-sample self-consistency. Cross-fitted oracle selection still finds held-out headroom beyond declared positional classes, a target for future selectors. Finally, breaking step-label ties by earliest index flips the sign of a pointwise selector's gain over uniform placement in every seed of a five-seed diagnostic with four rollouts per step; randomized ties remove the bias.
Abstract（参考訳）: 余剰推論計算は通常、より多くの推論連鎖のサンプリングに費やされる。既存のチェーン内で追加の継続を開始するべき場所について検討する。拡張ユーティリティ、ストアドステップでチェーンを再起動することによる正しさの変化を定義し、6つのベンチマーク(41モデルとベンチマークセル)で9つのモデルに対して、任意のステップで測定する。 1組の連続で選択されたステップは、5,16,38セル(新しい5セルオーディションでは+4.25ポイント[+2.51, +6.63])のホールドアウトオーディで、不連続オーディションで得点した場合、均一な配置に打ち勝つ。そして、DeepSeek-R1-Distill-Qwen-14B/MATH-500では常に、+0.052[+0.008, +0.098]で出力された一致したアグリゲーションの正確な自己整合フロンティアを超え、0.774xで4サンプルの自己整合を出力します。クロスフィットのオラクルセレクションは、いまだに宣言されたポジションクラスを超えて、将来のセレクタのターゲットであるホールトアウトヘッドルームを見つける。最後に、最初期の指標によるステップラベルの結びつきを断ち切ることで、ステップ毎に4つのロールアウトを持つ5シード診断のすべてのシードにおいて、ポイントワイズセレクタのゲインのサインを反転させ、ランダム化された結びつきはバイアスを除去する。

関連論文リスト

One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文参考訳（メタデータ） (2026-09-06T08:32:59Z)
What Aggregate Scores Miss: Measuring Item-Level Regressions in Commercial LLM API Migrations [1.6787220460106658]
大規模言語モデルAPIに依存するソフトウェアシステムは、ベンダーが古いモデルを非推奨にする場合、後継バージョンに移行する必要がある。移行決定は通常、集約されたベンチマークスコアに依存し、不均一なアイテムレベルの振る舞いを1つのネットフィギュアに圧縮する。
論文参考訳（メタデータ） (2026-08-18T12:44:54Z)
MSA-CITE: A Co-Adapted LoRA Specialist Ecology for Fixed-Budget Small-Model Inference [11.215813718564283]
複数の廃棄されたチェックポイントを、デプロイのための構成可能な資産として扱います。 4パスのポートフォリオは、200のホールドアウト数学アイテムに対して65.5%の精度を達成している。
論文参考訳（メタデータ） (2026-08-11T10:26:06Z)
GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
論文参考訳（メタデータ） (2026-08-03T17:55:24Z)
Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
論文参考訳（メタデータ） (2026-07-20T22:40:36Z)
Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文参考訳（メタデータ） (2026-06-02T06:51:15Z)
Perturbation Dose Responses in Recursive LLM Loops: Raw Switching, Stochastic Floors, and Persistent Escape under Append, Replace, and Dialog Updates [0.0]
我々は、他のどこかで落ち着いたループを動かすのに、注入されたテキストがどれだけ必要か、そしてそれが継続するかどうかを調査する。 12,000文字の尾クリップの下では、目的地とコヒーレントな持続性台地が16%近く、ソースとバスンの脱出は36%近くで400。 4段階のファルシフィケーション・バッテリは、高線量のデスティネーションコヒーレントディップを有限水平、エンドポイント定義感度の特徴として再キャストする。
論文参考訳（メタデータ） (2026-05-04T05:16:43Z)
The Sequential Edge: Inverse-Entropy Voting Beats Parallel Self-Consistency at Matched Compute [5.37133760455631]
言語モデルの推論のために、テスト時のスケーリングを再検討し、根本的な疑問を投げかけます。複数の独立したチェーンを並列に実行するか、あるいは、逐次的なステップを通じて反復的に洗練されるチェーンを少なくする方がよいのでしょうか? 逐次スケーリングは、95.6%の構成で支配的な並列自己整合パラダイムを継続的に上回り、精度は46.7%まで向上する。逆エントロピー重み付き投票(Inverse-entropy weighted voting)は、シーケンシャルスケーリングの精度をさらに高める新しいトレーニング不要な手法である。
論文参考訳（メタデータ） (2025-11-04T06:48:34Z)
From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。実現可能な最小二乗の設定において、新しい最上界を創出する。我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文参考訳（メタデータ） (2025-04-06T18:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。