論文の概要: OPERA: Aligning Open-Ended Reasoning via Objective Perplexity-based Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.25757v1
- Date: Wed, 24 Jun 2026 12:31:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.325352
- Title: OPERA: Aligning Open-Ended Reasoning via Objective Perplexity-based Reinforcement Learning
- Title（参考訳）: OPERA:客観的複雑度に基づく強化学習によるオープンエンディング推論の調整
- Abstract要約: 我々は、不確実な外部判断を、難易度力学から派生した本質的な報酬に置き換えるOPERAを提案する。
このパイプラインは20,000の高品質な推論軌道からなる大規模なデータセットを生成する。
Qwen3-8BにOPERAを実装することで、オープンソースモデル間の新たな最先端が確立される。
- 参考スコア（独自算出の注目度）: 25.499211481190162
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning (RL) has enabled LLMs to excel in objective reasoning tasks such as mathematics and code generation. However, applying RL to open-ended tasks, such as creative writing, remains challenging because LLM-as-a-judge reward models often exhibit stylistic biases and positional inconsistencies, leading to unstable supervision. To address this, we propose OPERA (Objective Perplexity-based Reflective Alignment), which replaces unreliable external judges with intrinsic rewards derived from perplexity dynamics. Specifically, we derive an intrinsic reward signal from perplexity dynamics, quantifying uncertainty reduction at critical reflective states. During the cold-start phase, we introduce a data synthesis method that leverages carefully designed guiding words to generate diverse reasoning traces, along with perplexity-prioritized rollouts that utilize internal log-probabilities to identify logically consistent reasoning branches. This pipeline yields a large-scale dataset comprising 20,000 high-quality reasoning trajectories. Empirical evaluations consistently demonstrate the scalability and efficacy of our approach in alignment for open-ended tasks. Implementing OPERA on Qwen3-8B establishes a new state-of-the-art among open-source models, achieving parity with or surpassing proprietary models like Gemini2.5 and MiniMax-M2.5 in some open-ended tasks. The code is available at https://github.com/pangpang-xuan/OPERA.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)により、LLMは数学やコード生成といった客観的推論タスクに優れる。
しかし、LLM-as-a-judge報酬モデルがスタイリスティックなバイアスと位置的不整合を示すことが多く、不安定な監督につながるため、創造的な執筆のようなオープンエンドタスクにRLを適用することは依然として困難である。
そこで我々は,不確実な外的判断を,難易度力学から派生した本質的な報酬に置き換えるOPERA(Objective Perplexity-based Reflective Alignment)を提案する。
具体的には, 臨界反射状態における不確実性低減を定量化するために, パープレキシティの力学から固有報酬信号を導出する。
冷間開始の段階では、慎重に設計された指導語を利用して多様な推論トレースを生成するデータ合成手法と、論理的に一貫した推論枝を識別する内部ログ確率を利用した複雑度優先ロールアウトを導入する。
このパイプラインは20,000の高品質な推論軌道からなる大規模なデータセットを生成する。
実験的な評価は、オープンエンドタスクのアライメントにおける我々のアプローチのスケーラビリティと有効性を一貫して示している。
Qwen3-8B上でのOPERAの実装は、オープンソースのモデル間で新しい最先端技術を確立し、いくつかのオープンなタスクにおいて、Gemini2.5やMiniMax-M2.5のようなプロプライエタリなモデルと同等か、あるいは超えている。
コードはhttps://github.com/pangpang-xuan/OPERA.comで公開されている。
関連論文リスト
- AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である
既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。
我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
論文 参考訳（メタデータ） (2026-05-25T08:26:34Z) - RADAR: Revealing Asymmetric Development of Abilities in MLLM Pre-training [59.493415006017635]
事前訓練されたマルチモーダル大言語モデル(MLLM)は、ポストトレーニングのための知識豊富な基盤を提供する。
現在の評価は、厳格な追加トレーニングと自己回帰的復号コストを導入する、教師付き微調整後のテストに依存している。
MLLM pRe トレーニングにおける非対称性向上のための効率的な能力中心評価フレームワーク RADAR を提案する。
論文 参考訳（メタデータ） (2026-02-13T12:56:31Z) - Discovering Process-Outcome Credit in Multi-Step LLM Reasoning [3.584086358722852]
強化学習(RL)は、大規模言語モデル(LLM)における推論能力を高めるための強力なパラダイムとして機能する。
本稿では,連続的な報酬信号を提供するための新しいフレームワークを提案する。
本モデルでは, 予測できない, 難解な推論タスクに対して, ゼロショット転送能力を実証し, より優れた配当性を示す。
論文 参考訳（メタデータ） (2026-02-01T05:44:09Z) - ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。
我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。
実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2026-01-10T08:43:07Z) - SELF-REDRAFT: Eliciting Intrinsic Exploration-Exploitation Balance in Test-Time Scaling for Code Generation [12.241337921137259]
インタプリタのフィードバックなしにテスト時のスケーリングは、現実のコード生成シナリオに不可欠である。
SELF-REDRAFTはSelf-Refine上に構築されたフレームワークで、根本的な欠陥のあるソリューションのための新しいドラフトの提案を促進する。
論文 参考訳（メタデータ） (2025-10-31T06:30:47Z) - OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning [41.49024599460379]
大規模言語モデル(LLM)の整合には,リワードモデル(RM)が不可欠である。
ツール拡張型ロングフォーム報酬モデルであるOpenRMを導入し、外部ツールを呼び出して適切な証拠を収集することで、オープンエンドの応答を判断する。
新たにコンパイルされた3つのデータセットと2つの広く使用されているベンチマークの実験は、OpenRMが既存の報酬モデリングアプローチを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2025-10-28T17:02:46Z) - Tagging the Thought: Unlocking Personalization Reasoning via Reinforcement Learning [28.86134365096663]
個人化推論のための言語モデルの本質的な能力を高める新しいトレーニングフレームワークであるTagPRを紹介する。
我々の手法は最先端の結果を達成し、すべてのタスクでベースモデルに対して平均32.65%の改善を提供する。
論文 参考訳（メタデータ） (2025-09-27T06:03:44Z) - Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳（メタデータ） (2025-07-26T07:53:11Z) - LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。
提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。
我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
論文 参考訳（メタデータ） (2025-05-22T16:22:54Z) - Are Your LLMs Capable of Stable Reasoning? [38.03049704515947]
G-Pass@$k$は、複数のサンプリング試行においてモデル性能を継続的に評価する新しい評価指標である。
私たちはG-Pass@$k$と最先端の大規模言語モデルを使って、その潜在能力と運用上の一貫性に関する包括的な洞察を提供しています。
論文 参考訳（メタデータ） (2024-12-17T18:12:47Z) - Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文 参考訳（メタデータ） (2024-02-09T07:45:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。