論文の概要: AETDICE: Unified Framework and Offline Optimization for Nonlinear Multi-Objective RL

• arxiv url: http://arxiv.org/abs/2606.31178v1
• Date: Tue, 30 Jun 2026 06:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.092828
• Title: AETDICE: Unified Framework and Offline Optimization for Nonlinear Multi-Objective RL
• Title（参考訳）: AETDICE:非線形多目的RLのための統一フレームワークとオフライン最適化
• Abstract要約: 非線型性は歴史的に非線形MORLの目的を2つの異なるパラダイムに二分岐させた。 AETは一般非線形MORLの原理的基礎を提供する。 AETDICE (AETDICE) は、AETの目的のための抽出可能なオフラインRLアルゴリズムである。
• 参考スコア（独自算出の注目度）: 14.573081027888167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing nonlinear preferences in multi-objective reinforcement learning (MORL) is essential for capturing complex trade-offs like risk aversion or fairness. However, such non-linearity has historically bifurcated nonlinear MORL objectives into two distinct paradigms: Scalarized Expected Return (SER) and Expected Scalarized Return (ESR). While SER requires global-level optimization and ESR requires non-Markovian policies, leading to fragmented optimization strategies, we bridge this divide through the Aggregation-Expectation-Transformation (AET) framework. By unifying both criteria through a tripartite decomposition of scalarization, AET provides a principled foundation for general nonlinear MORL. Building on this framework, we propose AETDICE, a tractable offline RL algorithm for AET objectives. By utilizing DICE-style density-ratio estimation in an augmented state space, AETDICE enables sample-based optimization from static datasets. Our framework resolves long-standing barriers and captures respective trade-offs induced by AET framework, which existing methods fail to address.
• Abstract（参考訳）: 多目的強化学習(MORL)における非線形選好の最適化は、リスク回避やフェアネスのような複雑なトレードオフを捉えるために不可欠である。 しかしながら、そのような非線型性は歴史的に非線形MORL目標を2つの異なるパラダイム(SERとESR)に二分岐させた。 SERはグローバルレベルの最適化を必要とし、ESRは非マルコフ的なポリシーを必要とし、断片化された最適化戦略をもたらすが、AET(Aggregation-Expectation-Transformation)フレームワークを通じてこの分割をブリッジする。 AETは、スカラー化の三部分解によって両方の基準を統一することにより、一般的な非線形MORLの基礎を提供する。 本稿では,AET目的のためのオフラインRLアルゴリズムであるAETDICEを提案する。 拡張状態空間におけるDICEスタイルの密度比推定を利用することで、AETDICEは静的データセットからサンプルベースの最適化を可能にする。 我々のフレームワークは、長年の障壁を解決し、既存のメソッドが対処できないAETフレームワークによって誘導されるそれぞれのトレードオフをキャプチャします。

関連論文リスト

• Joint Optimization of Training and Inference in Federated Edge Learning via Constrained Multi-Objective Deep Reinforcement Learning [9.37821062000313]
  エッジインテリジェンス(EI)を実現するための有望なパラダイムとしてFederated Edge Learning(FEEL)が登場した。 リソース制約のあるエッジデバイス上でのフェデレーショントレーニングと推論を共同で管理する,オンライン最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T14:51:07Z)
• HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving [51.268878540511054]
  我々は階層的拡散政策を備えたエンドツーエンドの計画フレームワークであるHADを提案する。 我々は,NAVSIMとHUGSIMの両方でHADが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-04T04:12:47Z)
• FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
  Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
  論文  参考訳（メタデータ） (2026-03-20T08:24:49Z)
• The Offline-Frontier Shift: Diagnosing Distributional Limits in Generative Multi-Objective Optimization [56.39938641873341]
  生成法は, 世代間距離などの他の指標に対して, 進化的オルタナティブを系統的に過小評価することを示す。 この制限を克服するには、客観空間における分配外サンプリングが必要であると論じる。 本研究は, オフラインMOOを分散シフト制限問題として位置づけ, 生成最適化手法が失敗する原因と原因を理解するための診断レンズを提供する。
  論文  参考訳（メタデータ） (2026-02-11T18:38:40Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Hierarchical Optimization via LLM-Guided Objective Evolution for Mobility-on-Demand Systems [9.979671028876464]
  動的階層システムにおいて,大規模言語モデル(LLM)と数学的最適化を統合した新しいフレームワークを提案する。 このフレームワーク内では、LLMはメタ最適化として機能し、制約執行とリアルタイム決定実行に責任を負う低レベルのセマンティクスを生成する。 ニューヨークとシカゴの両方のタクシーデータに基づく実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2025-10-12T14:56:19Z)
• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• ESSA: Evolutionary Strategies for Scalable Alignment [8.418036456622158]
  我々は,前向き推論とブラックボックス最適化のみを用いて,Large Language Models (LLM) を整列する勾配のないフレームワークであるESSAを提案する。 ESSAはQwen2.5-Math-7Bのテスト精度をGSM8Kで12.6%、PRM800Kで14.8%改善し、IFEvalでLLaMA3.1-8Bの精度を22.5%向上させた。 大規模な設定では、ESSAは勾配ベースの方法よりもスケーリングが強い。
  論文  参考訳（メタデータ） (2025-07-06T16:23:07Z)
• FairDICE: Fairness-Driven Offline Multi-Objective Reinforcement Learning [13.825782649016851]
  非線形福祉目的を直接最適化した最初のオフラインMORLフレームワークであるFairDICEを提案する。 複数のオフラインベンチマークで、FairDICEは既存のベースラインと比較して、フェアネスを意識したパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-06-09T09:40:11Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Offline Reinforcement Learning with Adaptive Behavior Regularization [1.491109220586182]
  オフライン強化学習(RL)は、静的で以前に収集されたデータセットからポリシーを学習する、サンプル効率のよい学習パラダイムを定義する。 適応行動正規化(Adaptive Behavior regularization, ABR)と呼ばれる新しい手法を提案する。 ABRは、データセットの生成に使用するポリシーのクローン化と改善の間に、ポリシーの最適化目標を適応的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-11-15T15:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。