論文の概要: StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions

• arxiv url: http://arxiv.org/abs/2610.17309v2
• Date: Tue, 20 Oct 2026 12:48:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.194745
• Title: StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions
• Title（参考訳）: StartLux-Decision:Calibrated Deliberative Deisionsのための強化学習付きオートシンク決定モデル
• Abstract要約: 本稿では,効率の良いシングルパス予測と適応的・信頼誘導推論を組み合わせた0.8Bから27Bパラメータの意思決定モデルを提案する。 Instantモデルは、フルアテンション層における双方向の注意を使って、単一パスの推論を維持しながら、決定精度を向上させる。 AutoThinkモデルは、不確実な決定に対する明示的な推論を呼び起こし、自信のあるケースに直接答える。
• 参考スコア（独自算出の注目度）: 22.939061891515767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce StartLux-Decision, decision models from 0.8B to 27B parameters that combine efficient single-pass prediction with adaptive, confidence-guided reasoning. The Instant models use bidirectional attention in full-attention layers to improve decision accuracy while keeping single-pass inference. The AutoThink models invoke explicit reasoning for uncertain decisions and answer confident cases directly. A three-stage training pipeline establishes shared decision capabilities, specializes the two variants, and equips AutoThink with reasoning through reasoning supervision and reinforcement learning. We introduce Reinforcement Learning for Calibrated Deliberative Decisions (RLCD$^2$), which uses a frozen model and proper scoring rules to reward improvements in decision probability quality and applies a soft penalty to overlong reasoning traces. RLCD$^2$ raises the share of reasoning traces that terminate within the generation limit by up to 48 percentage points and cuts average reasoning length by up to 65%, while largely preserving decision accuracy. On the public subset of Decision Index 0.3, the Instant models outperform the strongest evaluated comparable-scale open-weight decision models by 7.4-16.9 points, and the 27B AutoThink model reaches 73.4. We also introduce DecisionPivot, a programmatically verifiable benchmark of computational decisions built from contrast pairs that differ in a single answer-changing detail. On DecisionPivot, AutoThink outperforms its Instant counterparts by 11.5-18.4 points in pair accuracy and leads among evaluated systems. The models can be run using frameworks such as vLLM and MLX, with quantized versions available to reduce memory usage.Inference code and links to model weights are available at https://github.com/StartLuxLabs/Startlux-Decision .
• Abstract（参考訳）: 本稿では,効率の良いシングルパス予測と適応的・信頼誘導推論を組み合わせた,0.8Bから27Bへの決定モデルであるStartLux-Decisionを紹介する。 Instantモデルは、フルアテンション層における双方向の注意を使って、単一パスの推論を維持しながら、決定精度を向上させる。 AutoThinkモデルは、不確実な決定に対する明示的な推論を呼び起こし、自信のあるケースに直接答える。 3段階のトレーニングパイプラインは、共有された意思決定能力を確立し、2つの変種を専門化し、推論の監督と強化学習を通じてAutoThinkに推論を装備する。 本稿では, 凍結モデルと適切なスコアリングルールを用いて, 判定精度の向上を報奨し, 過大な推理トレースにソフトペナルティを適用した, 校正決定のための強化学習(RLCD$^2$)を紹介する。 RLCD$^2$は、生成限界内で終了する推論トレースのシェアを最大48ポイント引き上げ、平均推論の長さを最大65%削減する。 Decision Index 0.3の公開サブセットでは、Instantモデルが最も評価の高いオープンウェイト決定モデルである7.4-16.9ポイントを上回り、27B AutoThinkモデルは73.4に到達した。 また,コントラストペアから構築された計算決定をプログラムで検証可能なベンチマークであるDecisionPivotについても紹介する。 DecisionPivotでは、AutoThinkはInstantを11.5-18.4で上回り、評価されたシステムの中でリードする。 モデルは、vLLMやMLXなどのフレームワークを使って実行でき、メモリ使用量を減らすために量子化されたバージョンが利用可能である。

関連論文リスト

• Large Decision Models: Repurposing Large Language Models as Single-Pass Decision Makers [11.47184779374245]
  本研究では,実行時に指定されたラベルよりも明確な確率を返すために,言語モデルを再購入する大規模決定モデルを提案する。 まず、DDS(Diverse Decision Supervision)を通じて、さまざまなドメイン、ルール、ラベルをカバーし、このインターフェースにモデルを適用する。 推論モデルに対するパフォーマンスギャップをさらに狭めるため、SPRD(Self-Posed Reasoning Distillation)では、凍結教師が生成したタスクを追加し、回答整合性をフィルタし、繰り返し教師の推論から得られたラベル分布をトレーニングする。
  論文  参考訳（メタデータ） (2026-10-11T10:04:59Z)
• AutoCRAT: Within-trajectory Joint Control of Stochasticity and Compute for LLM Reasoning [10.408251801653723]
  大規模言語モデル(LLM)は、時間決定に大きく依存する強力な推論性能を達成する。 最近の適応的手法はこの制限に部分的に対処するが、主に推奨の復号性(モデルがどのように探索するか)や計算の推論(モデル理由の期間)を分離して適用する。 軌道内ジョイントコントロールビューを導入し,AutoCRATでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-30T19:24:58Z)
• Can Revealed Preferences Clarify LLM Alignment and Steering? [23.175180848107093]
  LLMの観測した選択が最適化するインプリート嗜好を推定するための経験的パイプラインを提案する。 提案手法は,モデルが一貫したゴール指向の振る舞いをするかどうかの厳密な評価を可能にすることを示す。
  論文  参考訳（メタデータ） (2026-05-08T23:26:35Z)
• CAMEL: Confidence-Gated Reflection for Reward Modeling [26.908515245229747]
  CAMELは、まず軽量なシングルトークン選択決定を行う信頼度の高いリフレクションフレームワークである。 提案手法は,プレフィックス強化による強化学習を通じて学習し,そのモデルに様々な初期判定を施し,真の修正を促す。 実証的に、CAMELは82.9%の平均精度で広く使用されている3つの報酬モデルベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-24T08:20:08Z)
• Reinforcement Inference: Leveraging Uncertainty for Self-Correcting Language Model Reasoning [0.0]
  強化推論(Reinforcement Inference)は、モデル自身の不確実性を使用して、第二の、より意図的な推論の試みを選択的に呼び出す。 12,032のMMLU-Pro質問では、DeepSeek-v3.2を使ってゼロショット設定で決定論的デコーディングを行い、Reinforcement Inferenceは精度を60.72%から84.03%に改善した。
  論文  参考訳（メタデータ） (2026-02-09T11:08:24Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• DecisionFlow: Advancing Large Language Model as Principled Decision Maker [49.088778182807395]
  DecisionFlowは、モデルにアクション、属性、制約の構造化された表現を推論するように誘導する、新しい決定モデリングフレームワークである。 プロンプトから直接回答を予測するのではなく、DecisionFlowは意味論的に根拠のある決定空間を構築し、潜在ユーティリティ関数を推論する。 実験の結果,DecisionFlowの精度は,強いプロンプトベースラインよりも最大30%向上した。
  論文  参考訳（メタデータ） (2025-05-27T16:23:53Z)
• Let LRMs Break Free from Overthinking via Self-Braking Tuning [68.93713497579853]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
  マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。 ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。 提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。