論文の概要: Reward-Weighted Preference Optimization for Selective Combinatorial Optimization Problems

• arxiv url: http://arxiv.org/abs/2610.31239v1
• Date: Thu, 22 Oct 2026 13:20:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.383764
• Title: Reward-Weighted Preference Optimization for Selective Combinatorial Optimization Problems
• Title（参考訳）: 選択的組合せ最適化問題に対する逆重み付き選好最適化
• Abstract要約: 本稿では、リワードギャップ情報を優先学習に組み込む2つの学習目標として、リワードウェイト優先最適化(RWPO)を導入する。 同じインスタンスからサンプリングされた候補に対して、RWPOは報酬の正規化差に応じて各好みの損失を重み付け、ソリューション品質の大幅な改善を示す比較を割り当てる。
• 参考スコア（独自算出の注目度）: 10.477771954122625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning has emerged as an effective approach for combinatorial optimization, but most existing methods focus on problems such as the Travelling Salesperson Problem (TSP) in which all elements must be served. Selective combinatorial optimization problems (SCOPs), including the Orienteering Problem (OP), Prize-Collecting TSP (PCTSP), Stochastic PCTSP and Knapsack Problem (KP), additionally require selecting which elements to include. This selection creates sampled solutions with substantially different objective values, yet standard preference optimization reduces such comparisons to binary rankings and discards the magnitude of these differences. We introduce Reward-Weighted Preference Optimization (RWPO), a pairwise training objective that incorporates reward-gap information into preference learning. For candidate trajectories sampled from the same instance, RWPO weights each preference loss according to the normalized difference in their rewards, assigning greater training emphasis to comparisons that represent larger improvements in solution quality. We further combine RWPO with scale-specific fine-tuning and reward- and likelihood-weighted tilted sampling to adapt trained policies to larger and shifted instance distributions without relying on local-search post-processing. Experiments on the OP, PCTSP, Stochastic PCTSP, and KP show that RWPO consistently improves over unweighted preference optimization and policy-gradient baselines across a wide range of instance sizes. On the OP, the resulting solver exceeds the mean reward of the Compass metaheuristic at scales from 100 to 2,000 nodes. The results demonstrate that preserving reward-gap information can substantially improve preference-based learning for selective combinatorial optimization and support generalization to large-scale instances.
• Abstract（参考訳）: 強化学習は組合せ最適化の効果的なアプローチとして現れてきたが、既存のほとんどの手法は、全ての要素を提供する必要があるトラベリングセールスパーソン問題(TSP)のような問題に焦点を当てている。 SCOP(Selective combinatorial optimization problem)は、オリエンテーリング問題(OP)、賞獲得TSP(PCTSP)、確率PCTSP(Stochastic PCTSP)、Knapsack Problem(KP)などを含む。 この選択は、実質的に異なる目的値を持つサンプル解を生成するが、標準的な選好最適化は、バイナリランキングとの比較を減らし、これらの差の大きさを破棄する。 本稿では、報酬ゲップ情報を優先学習に組み込む2つの学習目標であるReward-Weighted Preference Optimization (RWPO)を紹介する。 同じ事例からサンプリングされた候補軌跡に対して、RWPOは報酬の正規化差に応じて各選好損失を重み付け、ソリューション品質の大幅な改善を示す比較により大きなトレーニング重点を割り当てる。 さらに,RWPOをスケール特異的な微調整と報酬重み付き傾きサンプリングと組み合わせて,局所探索後処理に頼ることなく,トレーニングされたポリシを大規模かつシフトしたインスタンス分布に適用する。 OP、PCTSP、Stochastic PCTSP、KPの実験では、RWPOは、広範囲のインスタンスサイズにわたって、未重み付けの選好最適化とポリシーの緩やかなベースラインよりも一貫して改善されている。 OPでは、結果の解法は100ノードから2000ノードまでのスケールでCompassメタヒューリスティックの平均値を超える。 その結果、報奨情報を保存することで、選択的な組合せ最適化のための嗜好に基づく学習を大幅に改善し、大規模インスタンスへの一般化を支援することが示されている。

関連論文リスト

• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Preference Optimization for Combinatorial Optimization Problems [54.87466279363487]
  強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク最適化のための強力なツールとして登場した。 大幅な進歩にもかかわらず、既存のRLアプローチは報酬信号の減少や大規模な行動空間における非効率な探索といった課題に直面している。 統計的比較モデルを用いて定量的報酬信号を定性的選好信号に変換する新しい手法であるPreference Optimizationを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:47:00Z)
• BOPO: Neural Combinatorial Optimization via Best-anchored and Objective-guided Preference Optimization [17.694852175354555]
  目的値を介して解の選好を利用する訓練パラダイムであるBOPO(Best-anchored and Objective-Guided Preference Optimization)を提案する。 ジョブショップ問題(JSP)、トラベルセールスマン問題(TSP)、フレキシブルジョブショップスケジューリング問題(FJSP)の実験は、BOPOが最先端のニューラルメソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2025-03-10T17:45:30Z)
• Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
  応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。 MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。 理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
  論文  参考訳（メタデータ） (2024-12-05T21:50:22Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。