論文の概要: Learning to Optimize through Solver-Grounded Self-Play

• arxiv url: http://arxiv.org/abs/2609.34205v1
• Date: Mon, 28 Sep 2026 03:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:58:49.252362
• Title: Learning to Optimize through Solver-Grounded Self-Play
• Title（参考訳）: ソルバー・グラウンド・セルフプレイによる学習の最適化
• Abstract要約: OPT-Zeroは最適化モデリングのための完全なセルフプレイトレーニングフレームワークである。 1つのLarge Language Modelをデュアルロール閉ループに採用している。 OPT-Zeroは最先端のデータ依存手法と一致し,より強力な一般化性を示した。
• 参考スコア（独自算出の注目度）: 22.79985786893826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimization modeling is central to many decision-making scenarios, but traditionally requires extensive domain expertise. While Large Language Models (LLMs) have shown promise in automating this process, current training paradigms mainly rely on human-annotated or teacher-generated datasets. This dependence introduces a Generalization Ceiling, where models overfit to narrow data distributions, and Capability Anchoring, where models' reasoning is bounded by annotator proficiency and teacher model capability. In response, we propose OPT-Zero, the first fully self-play training framework for optimization modeling that requires zero external training data. OPT-Zero employs a single LLM in a dual-role closed loop: a Proposer that synthesizes increasingly challenging optimization problems alongside their mathematical formulations and solving code, and a Solver that attempts to resolve the problems given only natural-language problem descriptions. Grounded in execution feedback from external optimization solvers, we alternately train both roles using reinforcement learning. This process fosters an auto-curriculum in which the Proposer and Solver co-evolve: generating harder valid problems by the Proposer seamlessly enhances the structural reasoning ability of the Solver. Extensive results indicate that with zero curated data, OPT-Zero matches state-of-the-art data-dependent methods while exhibiting substantially stronger generalizability, establishing self-play training as a highly scalable paradigm for advancing LLM reasoning in modeling and solving optimization problems.
• Abstract（参考訳）: 最適化モデリングは多くの意思決定シナリオの中心であるが、伝統的には広範なドメインの専門知識を必要とする。 大規模言語モデル(LLM)は、このプロセスを自動化することを約束しているが、現在のトレーニングパラダイムは、主に人間アノテーションまたは教師生成データセットに依存している。 この依存は、モデルが狭いデータ分布に過度に適合する一般化シーリング(Generalization Ceiling)と、モデルの推論がアノテーションの習熟度と教師モデル能力によってバウンドされる能力アンコリング(Capability Anchoring)を導入している。 OPT-Zeroは、外部トレーニングデータを必要としない最適化モデルのための、最初の完全セルフプレイトレーニングフレームワークである。 OPT-Zeroは、数学的な定式化や解法と並行して、ますます困難な最適化問題を合成するプロポーラと、自然言語で記述された問題のみを解決しようとするソルバーである。 外部最適化ソルバによる実行フィードバックに基づき、強化学習を用いて両方の役割を交互に訓練する。 このプロセスは、ProposerとSolverが共進化し、Proposerによってより難しい有効な問題を発生させることによって、Solverの構造的推論能力がシームレスに向上する自動カリキュラムを育成する。 OPT-Zeroは、ゼロキュレートデータを用いて、最先端のデータ依存手法と一致し、より強力な一般化性を示し、モデリングおよび最適化問題の解法において、LSM推論を進めるための高度にスケーラブルなパラダイムとして、セルフプレイトレーニングを確立した。

関連論文リスト

• AutoOR: Scalably Post-training LLMs to Autoformalize Operations Research Problems [54.593031581486116]
  本稿では,拡張性のある合成データ生成および強化学習パイプラインであるAutoORについて述べる。 AutoORは、標準最適化フォームから検証済みのトレーニングデータを生成し、RL後トレーニングの報奨信号としてソルバ実行フィードバックを使用する。 我々は、AutoORのような手法がAIによる工業的意思決定を著しく加速できると考えている。
  論文  参考訳（メタデータ） (2026-04-18T03:24:54Z)
• Can Recommender Systems Teach Themselves? A Recursive Self-Improving Framework with Fidelity Control [82.30868101940068]
  本稿では,外部データや教師モデルに依存することなく,モデルが自身のパフォーマンスをブートストラップするパラダイムを提案する。 我々の理論的分析は、RSIRがデータ駆動型暗黙正則化器として機能し、最適化景観を円滑にしていることを示している。 より小さなモデルであっても利点があり、弱いモデルはより強力なモデルに対して効果的なトレーニングカリキュラムを生成することができることを示す。
  論文  参考訳（メタデータ） (2026-02-17T15:31:32Z)
• Bridging VLMs and Embodied Intelligence with Deliberate Practice Policy Optimization [72.20212909644017]
  Deliberate Practice Policy Optimization (DPPO) はメタ認知型メタループのトレーニングフレームワークである。 DPPOは教師付き微調整(能力拡張)と強化学習(技能向上)の交互に行う 実証的には、DPPO(Pelican-VL 1.0)で視覚言語を具現化したモデルをトレーニングすると、ベースモデルよりも20.3%パフォーマンスが向上する。 私たちはモデルとコードをオープンソースにして、データとリソースのボトルネックを軽減する最初の体系的なフレームワークを提供しています。
  論文  参考訳（メタデータ） (2025-11-20T17:58:04Z)
• Aligning Large Language Models via Fully Self-Synthetic Data [20.05693955243206]
  大規模な言語モデル(LLM)に対する人間からのフィードバック(RLHF)からの伝統的な強化学習は、高価な人間の注釈付きデータセットに依存している。 本研究では,LLMアライメントのための完全自己合成フレームワークであるSelf-Alignment Optimization (SAO)を紹介する。 実験によると、AlpacaEval2.0のような標準ベンチマークでは、SAOがモデルのチャット機能を効果的に強化している。
  論文  参考訳（メタデータ） (2025-10-08T05:07:45Z)
• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)
• R-Zero: Self-Evolving Reasoning LLM from Zero Data [47.8125954446991]
  自己進化型大規模言語モデル(LLM)は、自身の経験から自律的に生成、精製、学習することで、超知性へのスケーラブルなパスを提供する。 このようなモデルを訓練するための既存の方法は、いまだに膨大な人為的なタスクやラベルに大きく依存している。 R-Zeroは、完全に自律的なフレームワークで、スクラッチから独自のトレーニングデータを生成する。
  論文  参考訳（メタデータ） (2025-08-07T03:38:16Z)
• Solver-Informed RL: Grounding Large Language Models for Authentic Optimization Modeling [3.253908111652627]
  大型言語モデル(LLM)は、しばしば幻覚に対する形式的正当で使用可能なモデルを生成するのに苦労する。 本稿では,検証リワードを用いた強化学習を用いた最適化モデルのためのLLMの信頼性を向上する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-17T02:32:03Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [49.362750475706235]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling [15.67321902882617]
  本稿では,オープンソースのLLMをトレーニングし,モデリングやソルバコードの開発を最適化する実行可能なパスを提案する。 この研究は、実用的なOR問題の解決においてLLMを評価するための最初の産業ベンチマークであるIndustrialORも導入した。
  論文  参考訳（メタデータ） (2024-05-28T01:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。