論文の概要: Learning to Reason from Reference Samples Alone: Reinforced Adversarial Learning for Modern LLM Post-Training

• arxiv url: http://arxiv.org/abs/2610.38851v2
• Date: Fri, 30 Oct 2026 17:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.408166
• Title: Learning to Reason from Reference Samples Alone: Reinforced Adversarial Learning for Modern LLM Post-Training
• Title（参考訳）: 参照サンプルから推論を学習する:現代のLCMポストトレーニングのための強化された逆学習
• Abstract要約: 検証可能な報酬を伴う強化学習は、明確な正当性信号が利用できるタスクに限られる。 共学の裁判官は、照会後のLCMのオンライントレーニングにおいて、参照回答を単独で唯一の報酬にすることができることを示す。
• 参考スコア（独自算出の注目度）: 0.8076940016425098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many settings where LLM post-training is desirable, high-quality answers are recognizable but difficult to score with explicit rewards. Reinforcement learning with verifiable rewards (RLVR) is limited to tasks where an explicit correctness signal is available. Prior adversarial approaches to training reasoning LLMs either complement verifiable rewards with co-trained critics or require reference reasoning traces. We ask whether a co-trained LLM judge can turn reference answers alone into the sole reward for on-policy post-training of reasoning LLMs. We call this method Reinforced Adversarial Learning (RAL). We first validate RAL on three verifiable tasks (integer multiplication, code-based arithmetic-expression synthesis, and SMILES-to-formula translation), using the verifiers only for evaluation. With sufficiently capable judges and enough training, RAL matches direct RLVR. We then apply RAL to scientific abstract generation in two settings. In the first setting, RAL guides the generator to produce abstracts in the scientific domain of the reference abstracts, even though the prompt leaves that domain unspecified. In the second setting, we generate abstracts for U.S. National Institutes of Health grant proposals conditioned on the grant title. Human scientists and an ensemble of LLM judges find our generations harder to distinguish from real abstracts than those of frontier-LLM baselines. These results suggest a path toward post-training reasoning models in scientific and other high-value domains, where increasingly capable judges infer hard-to-specify reward functions from example answers.
• Abstract（参考訳）: LLMポストトレーニングが望ましい多くの環境では、高品質な回答は認識可能であるが、明確な報酬で得点することは困難である。 検証可能な報酬(RLVR)による強化学習は、明確な正当性信号が利用できるタスクに限られる。 LLMを訓練する以前の敵対的アプローチは、検証可能な報酬を共同訓練された批評家と補完するか、または参照推論トレースを必要とする。 共学のLLM審査員は、LLMの推論後のオンライントレーニングにおいて、参照回答を単独で唯一の報酬にすることができるかどうかを問う。 我々はこの手法をReinforced Adversarial Learning (RAL)と呼ぶ。 まず,3つの検証可能なタスク(整数乗算,符号ベースの算術表現合成,SMILES-to-formula変換)について,評価のためのみに検証を行う。 十分な有能な審査員と十分な訓練により、ラルは直接RLVRと一致した。 次に、2つの設定で科学的な抽象生成にアラビアを適用する。 最初の設定では、ALはジェネレータが参照抽象の科学領域で抽象を生成するように誘導するが、プロンプトはその領域を不特定のままにしておく。 第2の環境では、米国国立衛生研究所の助成提案の要約を作成し、そのタイトルを定めている。 人間の科学者とLLMの審査員の集まりは、われわれの世代が実際の抽象概念とフロンティア・LLMのベースラインと区別するのが難しいと考えている。 これらの結果は、科学的および他の高価値領域における学習後の推論モデルへの道のりを示唆している。

関連論文リスト

• Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers [55.3749098112392]
  強化学習(Reinforcement Learning, RL)は、推論タスクにおける言語モデルの訓練後の標準ツールである。 オンライン調査では,報酬が集中している地域を徐々に拡大し,RLポストトレーニングのメリットを定量化している。
  論文  参考訳（メタデータ） (2026-10-06T15:43:08Z)
• ExpRL: Exploratory RL for LLM Mid-Training [40.4311030968937]
  スパース報酬強化学習(RL)はLLM推論を改善するための標準ツールとなっている。 より自動化されたアプローチについて検討する: emphRL に基づく中級訓練において、人間による質問応答データの大規模なコーパスを用いて検討する。 参照はポリシーから隠され、問題固有のグレーディングルーブを構築するためにのみ使用される。
  論文  参考訳（メタデータ） (2026-06-15T17:50:44Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Harnessing the Power of Reinforcement Learning for Language-Model-Based Information Retriever via Query-Document Co-Augmentation [35.70731674603417]
  LLM(Large Language Models)は、ユーザクエリとコーパスドキュメントの拡張に使用することができる。 ユーザクエリとコーパスドキュメントの両方を拡張できるLLMベースのレトリバーを提案する。 提案手法は,疎密な設定と密な設定の両方において,LLMに基づく検索性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-06-23T14:14:43Z)
• RLPR: Extrapolating RLVR to General Domains without Verifiers [103.14103272635893]
  本稿では,RLVRを汎用ドメインに外挿するシンプルな検証不要なフレームワークであるRLPRを提案する。 このノイズの多い確率報酬の高分散に対処することが、それを機能させるためには不可欠である。 RLPRはGemma、Llama、Qwenベースのモデルの両方の領域における推論機能の改善を一貫して行っている。
  論文  参考訳（メタデータ） (2025-06-23T02:56:36Z)
• Beyond path selection: Better LLMs for Scientific Information Extraction with MimicSFT and Relevance and Rule-induced(R$^2$)GRPO [17.61466802557524]
  RLVR(Reinforcement Learning with Verifiable Rewards)を用いた強化学習で訓練されたLarge Language Models (LLM)は、数学タスクの推論能力を改善することなく推論経路を洗練する。 我々は、SFTとRLVRの両方が、SciIEに基づく簡単な方法で推論経路を洗練し、推論能力を向上させることができると論じている。
  論文  参考訳（メタデータ） (2025-05-28T07:47:46Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。