論文の概要: Beyond Verified Answers: Solver-Informed Self-Distillation for Bootstrapping Operations Research Language Models

• arxiv url: http://arxiv.org/abs/2609.09957v1
• Date: Wed, 09 Sep 2026 09:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.067842
• Title: Beyond Verified Answers: Solver-Informed Self-Distillation for Bootstrapping Operations Research Language Models
• Title（参考訳）: 検証された回答を超えて: ブートストラップ操作のための解法インフォームド自己蒸留 研究言語モデル
• Abstract要約: 大規模言語モデルは、自然言語記述を操作研究(OR)の定式化に変換することができる。 訓練は通常、人間の専門家やより強力なモデルによって検証された合成定式化に依存している。 そこで我々は,SOLID:SOLIDを提案する。SOLID:SOLID:SOLID:SOLID:SOLID:SOLID:SOLID-Artifact feedback generated by their rollouts, makes self-distillation is practical, evaluator-free source of dense supervision。
• 参考スコア（独自算出の注目度）: 12.289065714096262
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern large language models (LLMs) can translate natural-language descriptions into operations research (OR) formulations. Post-training techniques including reinforcement learning and on-policy self-distillation have further improved this capability. However, three limitations remain in training LLMs for OR formulations. First, training commonly relies on synthetic formulations validated by human experts or stronger models, constraining scalable supervision. Second, credit assignment is either coarse or costly: outcome rewards score an entire trajectory without locating the responsible modeling decision, whereas process-level supervision requires an additional evaluator. Third, privileged self-distillation can induce style mismatch by using solver context unavailable at deployment. We find that a model can improve from solver-artifact feedback generated by its own rollouts, making self-distillation a practical, evaluator-free source of dense supervision. Therefore, we propose SOLID: Solver-Informed On-Policy LearnIng through Self-Distillation, a novel framework for self-improving OR language models without verified answers or external evaluators. SOLID executes candidate programs from multiple rollouts, clusters their objectives, and selects a majority-group artifact as a pseudo-reference. The model then performs updates using group-relative advantages and dense self-supervision signals. Across multiple OR benchmarks, SOLID improves solution accuracy for both general-purpose and OR-tuned models over outcome-only group-relative training. These results show that solver artifacts can support scalable self-improvement without trusted answers.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)は、自然言語記述を操作研究(OR)の定式化に翻訳することができる。 強化学習やオンライン自己蒸留といったポストトレーニング技術により、この能力はさらに向上した。 しかし、ORの定式化のためのLLMの訓練には3つの制限が残っている。 まず、トレーニングは通常、人間の専門家やより強力なモデルによって検証された合成定式化に依存し、スケーラブルな監視を制限します。 第2に、クレジットの割り当ては粗悪かコストがかかる: 結果の報酬は、責任あるモデリング決定を突き止めることなく全軌道をスコアし、プロセスレベルの監督には追加の評価器が必要である。 第三に、特権的な自己蒸留は、デプロイ時に利用できないソルバコンテキストを使用することで、スタイルミスマッチを誘発することができる。 そこで本研究では, 自己蒸留を高密度管理の実用的, 評価対象のない源とすることで, モデルが自己のロールアウトによって生成した解法-人工物フィードバックから改善できることを見出した。 そこで我々はSOLIDを提案する: Solver-Informed On-Policy LearnIng through Self-Distillation, a novel framework for self-improving OR language model without confirmed answer and external evaluator。 SOLIDは複数のロールアウトから候補プログラムを実行し、目的をクラスタ化し、擬似参照として多数グループのアーティファクトを選択する。 モデルでは、グループ相対的なアドバンテージと密集した自己超越信号を使って更新を行う。 複数のORベンチマークにおいて、SOLIDは結果のみのグループ相対トレーニングよりも汎用モデルとOR調整モデルの両方のソリューション精度を向上させる。 これらの結果から,信頼性の高い回答を伴わずに,自己改善のスケーラブル化をサポートできることが示唆された。

関連論文リスト

• RefineRL: Advancing Competitive Programming with Self-Refinement Reinforcement Learning [63.432969627395686]
  RefineRLは、競合するプログラミング問題に対して、大規模言語モデルの自己精製能力を解き放つために設計された新しいアプローチである。 Skeptical-Agentは、CP問題の公開テストケースに対して生成されたソリューションを検証するためのローカル実行ツールを備えた反復的な自己修復エージェントである。 強化学習ソリューションは、標準RLVRデータのみを用いてLLMを自己精製にインセンティブを与える。
  論文  参考訳（メタデータ） (2026-04-01T11:54:57Z)
• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)
• Post-Training Large Language Models via Reinforcement Learning from Self-Feedback [3.73824942136665]
  大規模言語モデル(LLM)は、しばしば可算だが校正が不十分な回答を生成する。 本稿では,自己フィードバックによる強化学習(RLSF)について紹介する。
  論文  参考訳（メタデータ） (2025-07-29T15:46:26Z)
• Incentivizing LLMs to Self-Verify Their Answers [22.387551134333084]
  本稿では,大規模言語モデルにインセンティブを与え,自己検証を行うフレームワークを提案する。 我々はQwen2.5-Math-7BとDeepSeek-R1-Distill-Qwen-1.5Bに基づいて自己検証モデルを訓練する。 複数の数学的推論ベンチマークの実験は、我々のモデルがトレーニング後の性能を改善するだけでなく、効果的なテスト時間スケーリングを可能にすることを示している。
  論文  参考訳（メタデータ） (2025-06-02T06:54:29Z)
• Self-rewarding correction for mathematical reasoning [19.480508580498103]
  我々は,大規模言語モデル(LLM)の自己回帰的推論について研究する。 LLMは、ステップバイステップの推論を同時に生成し、外部からのフィードバックを伴わない推論時間における出力の正しさを評価する。 本稿では,自己生成データのみを用いて自己回帰推論モデルを構築するための2段階のアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-26T23:01:16Z)
• Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains [114.76612918465948]
  大規模言語モデル(LLM)は近年顕著なパフォーマンスを達成しているが、基礎となるトレーニングデータによって根本的に制限されている。 本稿では,言語モデルのマルチエージェント社会にファインタニングを適用した自己改善への補完的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-10T04:35:46Z)
• Recursive Introspection: Teaching Language Model Agents How to Self-Improve [30.086494067593268]
  RISE: Recursive IntroSpEctionは,大規模言語モデルを微調整する手法である。 実験の結果,RISEはLlama2,Llama3,Mistralの各モデルに対して,数学推論タスクのターン数を増やすことで自己改善を可能にすることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T17:35:59Z)
• LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
  大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。 この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。 モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
  論文  参考訳（メタデータ） (2024-05-15T13:35:43Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。