論文の概要: IncentRL: The Trade-Off Between Preference Guidance and Task Performance

• arxiv url: http://arxiv.org/abs/2609.21525v1
• Date: Fri, 18 Sep 2026 09:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.944503
• Title: IncentRL: The Trade-Off Between Preference Guidance and Task Performance
• Title（参考訳）: IncentRL: 優先ガイダンスとタスクパフォーマンスのトレードオフ
• Abstract要約: IncentRLは、好みのガイダンスを導入し、外部タスクのパフォーマンスにその効果を明示的に特徴付けるフレームワークである。 本研究では,手動設計,距離に基づく結果プロキシ,定位分布,スコア重み付き係数探索を用いた実践的実装について検討する。
• 参考スコア（独自算出の注目度）: 0.6117371161379209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference-based reward shaping can guide reinforcement learning, but adding preference signals to the reward may unintentionally change the task being optimized. We address this problem with IncentRL, a framework that introduces preference guidance while explicitly characterizing its effect on external-task performance. IncentRL adds a Kullback--Leibler (KL) penalty between a specified outcome distribution and a preferred distribution. For finite discounted Markov decision processes with bounded shaping costs, we derive an external-value perturbation bound, establish a sufficient strict-action-gap condition for preserving the original optimal policy, and characterize the large-weight regime through discounted cumulative preference cost. Exact examples clarify the limits of these guarantees, including tied optima and support mismatch. We study a practical implementation using a hand-designed, distance-based outcome proxy, a fixed preference distribution, and score-weighted coefficient search. On MiniGrid DoorKey-8x8, the reported three-seed mean success rate after two million training steps reaches 98\% with coefficient 0.01, compared with 90.5\% for the reported zero-coefficient baseline, while the search progressively shifts toward smaller coefficients. Together, these results provide a principled view of the central trade-off in preference-based RL: using additional guidance to improve learning without excessively distorting the original task objective. The current experiments remain descriptive and do not yet isolate KL shaping from simpler alternatives.
• Abstract（参考訳）: 優先ベースの報酬形成は、強化学習を導くことができるが、報酬に優先信号を追加することは、最適化されるタスクを意図せずに変更する可能性がある。 IncentRLは嗜好ガイダンスを導入し,外部タスク性能への影響を明確に評価するフレームワークである。 IncentRLは、特定の結果分布と好ましい分布の間に、Kullback--Leibler(KL)ペナルティを追加する。 有界な整形コストを持つ有限割引マルコフ決定過程に対して、外値摂動境界を導出し、元の最適ポリシーを保存するのに十分な厳密な作用ギャップ条件を確立し、割引累積選好コストによって大局的に特徴づける。 厳密な例はこれらの保証の限界を明確にしている。 本研究では,手動設計,距離に基づく結果プロキシ,定位分布,スコア重み付き係数探索を用いた実践的実装について検討する。 MiniGrid DoorKey-8x8では、200万のトレーニングステップが係数0.01で98\%に達した後、報告されたゼロ係数ベースラインの90.5\%に対して、3シード平均成功率が98\%に達した。 これらの結果は,従来の課題目標を過度に歪ませることなく,学習を改善するための追加のガイダンスを用いることによって,嗜好に基づくRLにおける中心的トレードオフの原則的見解を提供する。 現在の実験は説明的なままであり、単純な代替品からまだKLシェーピングを分離していない。

関連論文リスト

• Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
  強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。 我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-07-29T00:19:09Z)
• Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions [80.33276868889341]
  Z-Rewardは効率的な報酬展開から推論と重大な判断を分離する。 Z-Reward はテキスト・画像の最適化のための識別可能な報酬信号として機能することを示す。
  論文  参考訳（メタデータ） (2026-06-08T06:20:12Z)
• On Advantage Estimates for Max@K Policy Gradients [38.07689739365912]
  バッチのメリットを正確に重視しながら、ポリシーの緩やかな偏りを保ちながら、リーフツーアウトのベースラインを導入します。 結果、MaxPOは効率的な二次時間実装を持ち、LLM後学習のためのグループベースRLに自然に統合される。 実験により,L2Oベースラインは勾配のばらつきを低減し,非中心の代替よりも優れることを確認した。
  論文  参考訳（メタデータ） (2026-06-04T12:16:39Z)
• Reasoning Is Not Free: Robust Adaptive Cost-Efficient Routing for LLM-as-a-Judge [4.511996087821266]
  Reasoning-capable large language model (LLM) は、最近自動判断器として採用されている。 本研究では,明示的推論により,構造化された検証を必要とするタスクの判断精度が大幅に向上することを示す。 本稿では、推論と非推論の判断を選択可能なロバスト適応コスト効率ルーティング(RACER)を提案する。
  論文  参考訳（メタデータ） (2026-05-11T16:30:20Z)
• Beyond Uniform Credit Assignment: Selective Eligibility Traces for RLVR [7.971447120817466]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上のための重要なアプローチとなっている。 本研究では,S-Trace(S-Trace)を,サンプル効率,評価自由度トレース手法として提案する。 実験の結果、SトラスはGRPOを上回るだけでなく、Qwen3-1.7Bでは0.49%、Qwen3-4Bでは3.16%、Qwen3-8Bでは2.98%向上した。
  論文  参考訳（メタデータ） (2026-05-07T10:11:51Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Don't Forget Its Variance! The Minimum Path Variance Principle for Accurate and Stable Score-Based Density Ratio Estimation [15.094412534684116]
  抽出可能なトレーニング対象は,時間スコアの経路分散という,決定的かつ見過ごされた用語によって,理想的,根本的目標と異なることを示す。 我々は,経路分散を最小化するための基本性能を導入するMinPV(textbfMinimum textbfPath textbfVariance)原理を提案する。
  論文  参考訳（メタデータ） (2026-01-31T17:57:53Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。