論文の概要: Minimal Witness Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.07226v1
• Date: Mon, 05 Oct 2026 18:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.599111
• Title: Minimal Witness Reinforcement Learning
• Title（参考訳）: 最小限の知性強化学習
• Abstract要約: 最小知能強化学習(MWRL)による最小知能識別問題の定式化 MWRLは、政策からサンプリングされた成功した提案によって認定された集合の連合を取り、グループ連合がその提案なしで失うであろう範囲についてそれぞれの提案を信用する。 実験では、MWRLは最小限の証人を回収し、他の方法は冗長なスーパーセットや1人の証人を返します。
• 参考スコア（独自算出の注目度）: 4.565335799730936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ``What are the irreducible conditions that are sufficient to produce an outcome?'' is one of the most common questions that recur across computation and science. Its answers, the minimal sufficient witnesses, are what we mean by explanations, mechanisms and reasons. These problems usually ask for multiple minimal witnesses, yet standard RL methods may reveal only one solution or redundant ones. We formalize this problem as minimal-witness identification and introduce Minimal-Witness Reinforcement Learning (MWRL). MWRL takes the union of the sets certified by successful proposals sampled from the policy and credits each proposal for the coverage the group union would lose without that proposal. This credit assignment, derived directly from the problem definition, unifies the demands for minimality and recovery of alternatives from a single black-box verifier bit. Under this principle, we derive a value iteration planner that recovers the entire family of witnesses and a policy gradient method that can scale to large language models. Across different experimental settings, MWRL recovers most minimal witnesses, while other methods return redundant supersets or a single witness. By making witness families learnable from verifier feedback, MWRL expands the scope of reinforcement learning beyond single-solution optimization. Our code is available at https://github.com/TSUITUENYUE/MWRL.
• Abstract（参考訳）: 「結果を生み出すのに十分な既約条件は何か」は、計算と科学をまたいで再帰する最も一般的な問題の一つである。 その答えは、最小限の証人であり、説明、メカニズム、理由によって私たちが意味するところである。 これらの問題は通常、複数の最小限の証人を要求するが、標準のRLメソッドは1つの解か冗長な解しか示さない。 この問題を最小限の知性識別として定式化し、最小限の知性強化学習(MWRL)を導入する。 MWRLは、政策からサンプリングされた成功した提案によって認定された集合の連合を取り、グループ連合がその提案なしで失うであろう範囲についてそれぞれの提案を信用する。 このクレジット代入は、問題定義から直接派生したもので、単一のブラックボックス検証ビットから代替品の最小化と回収の要求を統一する。 この原則の下では、証人の家族全体を回復するバリューイテレーションプランナと、大規模言語モデルにスケール可能なポリシー勾配手法を導出する。 実験では、MWRLは最小限の証人を回収し、他の方法は冗長なスーパーセットや1人の証人を返します。 検証者フィードバックから証人家族を学ばせることにより、MWRLは単解法最適化を超えて強化学習の範囲を広げる。 私たちのコードはhttps://github.com/tsuITUENYUE/MWRL.comで公開されています。

関連論文リスト

• ExpRL: Exploratory RL for LLM Mid-Training [40.4311030968937]
  スパース報酬強化学習(RL)はLLM推論を改善するための標準ツールとなっている。 より自動化されたアプローチについて検討する: emphRL に基づく中級訓練において、人間による質問応答データの大規模なコーパスを用いて検討する。 参照はポリシーから隠され、問題固有のグレーディングルーブを構築するためにのみ使用される。
  論文  参考訳（メタデータ） (2026-06-15T17:50:44Z)
• Agentic Systems as Boosting Weak Reasoning Models [6.622844972691325]
  検証者支援委員会探索を推論言語モデルの推論時間向上として検討する。 繰り返しサンプリングすることでカバレッジを増幅できるが、それ自体で有用な批評家やコンパレータを作ることはできない。 SWE-bench Verifiedでは、単一のテキストGPT-5.4ナノプロポーザルが67.0%のタスクを解決している。
  論文  参考訳（メタデータ） (2026-05-13T22:32:31Z)
• Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models [78.68818219506313]
  本稿では,複数解に対する分布推論を行うための多解補足学習手法について述べる。 質問応答, 診断, コーディングベンチマークを通じて, 単一回答学習ベースラインと比較して, 多様性, カバレッジ, 設定レベルの校正スコアが向上した。
  論文  参考訳（メタデータ） (2026-03-25T22:20:25Z)
• Stop Rewarding Hallucinated Steps: Faithfulness-Aware Step-Level Reinforcement Learning for Small Reasoning Models [59.6715047267181]
  小さな推論モデル(SRM)は、特に中間的推論ステップにおいて幻覚を起こす傾向がある。 オンライン強化学習に基づく既存の緩和手法は、結果に基づく報酬や粗粒度の連鎖評価に依存している。 本稿では、プロセス報酬モデルから、明示的な忠実度報酬を通じてステップレベルの監視を導入する、Fithfulness-Aware Step-Level Reinforcement Learning (FaithRL)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T17:15:12Z)
• Learning to Answer from Correct Demonstrations [26.367368795756903]
  質問(あるいはプロンプト)に対する回答(あるいは完了)を生成するための学習の課題について,複数の正しい回答が存在する可能性について検討する。 我々は,この問題を文脈的包帯におけるオフライン模倣学習として定式化し,いくつかの最適推定から実演する。 私たちの仕事は、正しいデモから学ぶとき、可能性以上のものを探します。
  論文  参考訳（メタデータ） (2025-10-17T09:20:17Z)
• A Simple "Try Again" Can Elicit Multi-Turn LLM Reasoning [58.80217284841095]
  マルチターン問題解決は、大規模な推論モデル(LRM)が彼らの推論を反映し、フィードバックから修正する上で非常に難しい。 既存の強化学習(RL)手法は、検証可能な報酬で1ターンのパラダイム上で大きな推論モデルを訓練する。 我々は,反復的問題解決において,最小限の単一ユーザフィードバックを利用する強化学習のためのUnary Feedback as Observation (UFO)を紹介した。
  論文  参考訳（メタデータ） (2025-07-18T18:07:38Z)
• All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning [49.43901716932925]
  基礎モデルファインチューニング(FT)における最強の結果は,比較的複雑な2段階の訓練手順によって達成されることを示す。 具体的には、オンラインフィードバックを提供するために使用する前に、まず、あるデータセット(例えば、人間の好み)に報酬モデル(RM)をトレーニングする。 生成検証ギャップの問題に対して、比較的単純なRMを選好データから学習することは比較的容易である、という説明を最も支持している。
  論文  参考訳（メタデータ） (2025-03-03T00:15:19Z)
• Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。 本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。 生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
  論文  参考訳（メタデータ） (2024-01-11T17:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。