論文の概要: Pointwise or Pairwise: When Do Pairwise Losses Help Reward Learning, Provably?

• arxiv url: http://arxiv.org/abs/2609.37209v1
• Date: Tue, 29 Sep 2026 10:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.419349
• Title: Pointwise or Pairwise: When Do Pairwise Losses Help Reward Learning, Provably?
• Title（参考訳）: ポイントワイズかペアワイズか:ペアワイズがリワード学習に役立つのはいつか?
• Abstract要約: ポイントワイズ報酬が観測されたとしても、報酬学習にはペアワイズ損失がますます使用される。 我々は、この質問を、コンテキスト毎に複数のアクションを許容するグループ化されたオフラインコンテキスト帯域設定で研究する。 我々は、報酬をポイントワイズで観察する値回帰(VR)と、同じコンテキスト下でサンプリングされたアクションのペア間の報酬差を回帰する値差回帰(VDR)を比較した。
• 参考スコア（独自算出の注目度）: 20.016302466420143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pairwise losses are increasingly used for reward learning even when pointwise rewards are observed, with mixed empirical results. When and why do pairwise losses outperform pointwise losses? We study this question in a grouped offline contextual-bandit setting allowing multiple actions per context, capturing many reward learning scenarios. We compare Value Regression (VR), which regresses observed rewards pointwise, with Value Difference Regression (VDR), which regresses reward differences between a pair of actions sampled under the same context. We consider a semiparametric model where the mean reward is the sum of a learnable action-dependent component and an arbitrary context-dependent yet action-independent nuisance, capturing context-specific disturbances. Using a unified localized analysis, we prove finite-sample regression guarantees for finite and linear function classes and translate them into offline-regret bounds. For finite classes, VDR eliminates the misspecification term in the VR bound and improves a reward-scale-dependent error term by averaging over actions within each context, a benefit absent from the corresponding VR term. For linear classes, neither method uniformly dominates: within-context differencing removes nuisance-induced bias but may increase estimation variance relative to using absolute rewards when the misspecification is sufficiently low. This yields a feature geometry-dependent bias-variance tradeoff, which we corroborate with numerical experiments.
• Abstract（参考訳）: ポイントワイズ報酬が観察されたとしても、報酬学習にはペアワイズ損失がますます使われており、経験的な結果が混在している。 いつ、なぜペアワイズ・ロスはポイントワイズ・ロスを上回るのか? 我々は、この質問をグループ化されたオフラインコンテキスト帯域設定で研究し、コンテキスト毎に複数のアクションを許容し、多くの報奨学習シナリオをキャプチャする。 我々は、報酬をポイントワイズで観察する値回帰(VR)と、同じコンテキスト下でサンプリングされたアクションのペア間の報酬差を回帰する値差回帰(VDR)を比較した。 平均報酬が学習可能なアクション依存コンポーネントと任意のコンテキスト依存だがアクション依存のニュアンスとの和である半パラメトリックモデルを考える。 統一的な局所解析を用いて、有限および線型関数クラスに対する有限サンプル回帰保証を証明し、それらをオフライン-回帰境界に変換する。 有限クラスの場合、VDRはVR境界における不特定項を排除し、各コンテキスト内のアクションを平均化することで報酬スケール依存エラー項を改善する。 文脈内差分法はニュアンスに起因したバイアスを除去するが、不特定性が十分低い場合に絶対報酬を使用する場合と比較して推定差を増大させる。 これにより特徴幾何学に依存したバイアス分散トレードオフが得られ、数値実験と相関する。

関連論文リスト

• Relative Value Learning [10.063075560468798]
  相対値学習(Relative Value Learning)は、反対称関数 $(s_i, s_j) = V(s_i) - V(s_j)$ を通じて直接値差を学習するフレームワークである。 絶対的な批判に対して,相対値推定が効果的な代替手段であることを示す。
  論文  参考訳（メタデータ） (2026-07-23T09:55:45Z)
• A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning [10.891872788947298]
  局所CRPS分散は単列推定誤差の直接信号を提供する。 パワーロー適合品質と単調性は、トラジェクトリ正則性のコンパクトなメソッドレベルの要約を提供する。
  論文  参考訳（メタデータ） (2026-04-25T02:52:33Z)
• Algorithm-Relative Trajectory Valuation in Policy Gradient Control [12.29802562975378]
  政策段階制御において,軌道値が学習アルゴリズムにどう依存するかを考察する。 不確実なLQRにおけるトラジェクティブシェープを用いて,バニラReINFORCEの下でのPE(Persistence of Excitation)と限界値との負の相関を見出した。
  論文  参考訳（メタデータ） (2025-11-11T06:25:52Z)
• Comparing Contrastive and Triplet Loss: Variance Analysis and Optimization Behavior [2.608092703580602]
  3重項の損失はクラス内およびクラス間の大きな分散を保ち、学習された表現においてよりきめ細かい区別をサポートすることを示す。 対照的に、対照的な損失はクラス内埋め込みをコンパクトにする傾向があり、微妙な意味的差異が曖昧になる。 対照的な損失が多くの小さな更新を早期に引き起こすのに対して、トリプルト損失はより少ないがより強力な更新を発生させ、ハードな例での学習を持続させる。
  論文  参考訳（メタデータ） (2025-10-02T16:11:46Z)
• Log-Sum-Exponential Estimator for Off-Policy Evaluation and Learning [50.93804891554481]
  従来の逆確率スコア推定よりも優れた対数推定演算子(log-sum-exponential (LSE)演算子)に基づく新しい推定器を提案する。 我々のLSE推定器は, 重み付き条件下での分散低減とロバスト性を示す。 政治以外の学習シナリオでは、LSE推定器と最適ポリシーの間のパフォーマンスギャップである後悔の限界を確立します。
  論文  参考訳（メタデータ） (2025-06-07T17:37:10Z)
• Contextual Linear Optimization with Partial Feedback [35.38485630117593]
  本研究では,異なるタイプのフィードバックを持つ文脈線形最適化(CLO)のためのオフライン学習アルゴリズムのクラスを提案する。 我々は,IERMに対して,不特定モデルクラスとフレキシブルな推定方法の選択を可能にする,新しい高速遅延境界を提供する。
  論文  参考訳（メタデータ） (2024-05-26T13:27:27Z)
• REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
  正の対を識別する学習尺度を新たに提案する。 検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。 本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T13:44:45Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布推定が消失することを示し,推定分布が急速に平均に崩壊することを実証的に観察した。 我々は,$L$の学習効率に感化され,効率のよい学習方法として,返却分布の期待値と量子値を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。