論文の概要: From Soft Targets to Reward Signals: How Assignment and Reward Objectives Interact

• arxiv url: http://arxiv.org/abs/2609.34850v1
• Date: Mon, 28 Sep 2026 10:44:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:13:26.215176
• Title: From Soft Targets to Reward Signals: How Assignment and Reward Objectives Interact
• Title（参考訳）: ソフトターゲットからリワード信号へ:アサインとリワードはどのように相互作用するか
• Abstract要約: 本研究では、異なる応答対に一定の好みの強さを割り当てることによって、異なる目的によって得られる報酬がどう変化するかを検討する。 対象の配置と報奨対象の形状報酬特性が選好精度を超えるような共同設計空間を確立する。
• 参考スコア（独自算出の注目度）: 11.936645965216364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft preference targets specify supervision strength, and reward objectives convert that strength into learned reward signals. A central design question remains: how does assigning a fixed set of preference strengths to different response pairs change the rewards produced by different objectives? We introduce assignment geometry to study this interaction. Mean-matched smoothing controls target dispersion, while within-stratum reassignment changes correspondence and preserves the complete target distribution. Across five reward objectives, intact correspondence retains the largest clean preference margins among the compared soft targets within a common accuracy-equivalence budget. Attenuation orderings change with the reward objective, revealing different responses to the same target assignments. Independent reassignments and a related source construction reproduce the retention direction. An attenuation-retention profile compares these combinations through margin magnitude, edit response, and accuracy. Against independently calibrated scaling, APLOT uniform targets deliver additional attenuation on both aggregate and presentation edits. These findings establish a joint design space in which target placement and reward objective shape reward properties beyond preference accuracy.
• Abstract（参考訳）: ソフトな選好の対象は監督力であり、報酬目的はその強さを学習された報奨信号に変換する。 異なる反応対に一定の好みの強さのセットを割り当てると、異なる目的によって生成される報酬はどのように変化するのか? この相互作用を研究するために代入幾何学を導入する。 平均整合平滑化は、対象の分散を制御し、内部再割り当ては対応を変更し、完全な目標分布を保存する。 5つの報奨目標に対して、不一致一致は、比較対象のうち最大の清潔な選好マージンを共通の精度・等価予算内に保持する。 減衰順序は報酬の目的によって変化し、同じターゲットの割り当てに対する異なる応答を明らかにする。 独立再割り当てと関連するソース構築は、保持方向を再現する。 減衰保持プロファイルは、これらの組み合わせをマージン等級、編集応答、精度で比較する。 独立に調整されたスケーリングとは対照的に、APLOTの均一なターゲットは、集計とプレゼンテーションの編集にさらなる減衰をもたらす。 これらの結果から,目標位置と報奨対象形状の報酬特性が優先精度を超えるような共同設計空間が確立された。

関連論文リスト

• Beyond Saying Less: Fine-Grained Alignment for Informative and Faithful Vision-Language Models [71.46915245859357]
  物体幻覚は、大きな視覚言語モデルにとって依然として大きな課題である。 本稿では,データレベルでの高密度報酬信号と,アルゴリズムレベルでの正確な信用割当を結合する微粒化アライメントフレームワークを提案する。 本手法は, 識別評価において, 顕著な性能向上を図りながら, 生成タスクにおける高情報かつ忠実な記述を生成する。
  論文  参考訳（メタデータ） (2026-09-28T14:37:33Z)
• ORPG: Reconciling Multiple Reward Objectives through Objective-wise Policy Gradients [52.516765672263574]
  マルチリワードポリシー最適化には、学習信号と目的間の意図した関係の両方を反映した共同アップデートが必要である。 我々は、報酬ごとに個別にクリッピングされたポリシー目標を構築し、その結果の勾配を1つのポリシー更新に調整するORPG(Objective-wise Reconciled Policy Gradient)を導入する。
  論文  参考訳（メタデータ） (2026-09-28T11:58:21Z)
• Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
  グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。 異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。 本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
  論文  参考訳（メタデータ） (2026-08-17T04:07:50Z)
• Beyond Uniform Forgetting: A Study of Sequential Direct Preference Optimization Across Preference Settings [11.551054698858266]
  4つの選好設定における逐次直接選好最適化について検討する。 シーケンシャルなDPOは単一の忘れパターンを生成しない。 メカニカル診断では、Stage2グラデーションとアダプタの更新は、すべての設定で以前の目的とほぼ直交している。
  論文  参考訳（メタデータ） (2026-06-18T03:20:41Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• A Unifying Framework for Concept-Based Representational Similarity [26.502371676259113]
  概念のアライメントは基本的に多目的であり、そのように定義、測定、最適化されなければならない。 本稿では,2つの軸に沿ったアライメントを分解する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-08T15:42:39Z)
• Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models [54.597200388738656]
  Reward-based fine-tuningは、事前訓練された拡散またはフローベース生成モデルを、より高い逆サンプルに向けて操ることを目的としている。 報酬スコアマッチング (RSM) と呼ばれる共通フレームワークで記述できることが示される。
  論文  参考訳（メタデータ） (2026-04-19T12:47:52Z)
• Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards [39.489554597919145]
  グループ相対ポリシー最適化(GRPO)は、完了時にすべてのトークンに対して単一のスカラーの利点を割り当てる。 明確なセグメントと目的を持つ構造化世代では、このカップルはセグメント間で無関係な報酬信号を生成し、客観的な干渉と不正な信用につながる。 我々は、GRPO互換メソッドのファミリーであるBlockwise Advantage Estimationを提案し、それぞれの目的をそれぞれ独自の利点を割り当て、対応するテキストブロックのトークンにのみ適用する。
  論文  参考訳（メタデータ） (2026-02-10T19:22:37Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• Similarity Based Label Smoothing For Dialogue Generation [1.1279808969568252]
  生成的神経会話システムは一般に、訓練対象の「堅い」目標と予測ロジットの間のエントロピー損失を最小限に抑える目的で訓練される。 ラベルの平滑化は、不正なトレーニングターゲットにデータ独立の均一な分布を強制する。 本稿では,ラベル平滑化における不正確な対象確率の均一分布を,意味論に基づくより自然な分布に変換することを提案する。
  論文  参考訳（メタデータ） (2021-07-23T23:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。