論文の概要: Regularized Conditional Diffusion Model for Multi-Task Preference Alignment

• arxiv url: http://arxiv.org/abs/2404.04920v2
• Date: Thu, 10 Oct 2024 10:05:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 18:31:09.417862
• Title: Regularized Conditional Diffusion Model for Multi-Task Preference Alignment
• Title（参考訳）: マルチタスク選好アライメントのための正規化条件拡散モデル
• Authors: Xudong Yu, Chenjia Bai, Haoran He, Changhong Wang, Xuelong Li,
• Abstract要約: 連続的な意思決定は、人間の意図と一致し、様々なタスクにまたがる多角性を示すことが望まれる。 従来は条件付き拡散モデルを用いて軌道分布を直接モデル化し,条件生成プロセスとして定式化していた。 本研究では,シングルタスクとマルチタスクの両意思決定の統一条件として,マルチタスクの選好を採用する。
• 参考スコア（独自算出の注目度）: 43.86042557447689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential decision-making is desired to align with human intents and exhibit versatility across various tasks. Previous methods formulate it as a conditional generation process, utilizing return-conditioned diffusion models to directly model trajectory distributions. Nevertheless, the return-conditioned paradigm relies on pre-defined reward functions, facing challenges when applied in multi-task settings characterized by varying reward functions (versatility) and showing limited controllability concerning human preferences (alignment). In this work, we adopt multi-task preferences as a unified condition for both single- and multi-task decision-making, and propose preference representations aligned with preference labels. The learned representations are used to guide the conditional generation process of diffusion models, and we introduce an auxiliary objective to maximize the mutual information between representations and corresponding generated trajectories, improving alignment between trajectories and preferences. Extensive experiments in D4RL and Meta-World demonstrate that our method presents favorable performance in single- and multi-task scenarios, and exhibits superior alignment with preferences.
• Abstract（参考訳）: 連続的な意思決定は、人間の意図と一致し、様々なタスクにまたがる多角性を示すことが望まれる。 従来は条件付き拡散モデルを用いて軌道分布を直接モデル化し,条件生成プロセスとして定式化していた。 それでも、リターン条件付きパラダイムは、事前に定義された報酬関数に依存しており、様々な報酬関数(可逆性)を特徴とするマルチタスク設定に適用し、人間の嗜好(アライメント)に関して限定的な制御性を示す場合の課題に直面している。 本研究では,シングルタスクとマルチタスクの両意思決定の統一条件としてマルチタスク選好を採用し,選好ラベルに整合した選好表現を提案する。 学習した表現は拡散モデルの条件生成過程を導出するために用いられ、表現と対応する軌道の相互情報を最大化するための補助的目的を導入し、軌道と嗜好の整合性を改善する。 D4RLとMeta-Worldの大規模な実験により、本手法はシングルタスクとマルチタスクのシナリオで好適な性能を示し、好みとの整合性が良好であることが示された。

関連論文リスト

• InPO: Inversion Preference Optimization with Reparametrized DDIM for Efficient Diffusion Model Alignment [12.823734370183482]
  拡散モデルの直接選好アライメント法であるDDIM-InPOを導入する。 提案手法は拡散モデルを単一ステップ生成モデルとして概念化し,特定の潜伏変数の出力を選択的に微調整する。 実験結果から, DDIM-InPOは400ステップの微調整で最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-03-24T08:58:49Z)
• Preference-Guided Diffusion for Multi-Objective Offline Optimization [64.08326521234228]
  オフライン多目的最適化のための優先誘導拡散モデルを提案する。 我々の指導は、ある設計が他の設計を支配する確率を予測するために訓練された選好モデルである。 本結果は,多種多様な高品質な解を生成する上での分類器誘導拡散モデルの有効性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-21T16:49:38Z)
• Taming Flow Matching with Unbalanced Optimal Transport into Fast Pansharpening [10.23957420290553]
  本稿では,一段階の高品位パンシャーピングを実現するための最適輸送フローマッチングフレームワークを提案する。 OTFMフレームワークは、パンシャーピング制約の厳格な遵守を維持しつつ、シミュレーション不要なトレーニングとシングルステップ推論を可能にする。
  論文  参考訳（メタデータ） (2025-03-19T08:10:49Z)
• On-the-fly Preference Alignment via Principle-Guided Decoding [27.50204023448716]
  モデル出力を推論中に人間の好みに合わせるために、OPAD(Principle-Guided Decoding)によるオンザフライの優先度アライメントを導入する。 OPADは、一般的なタスクとパーソナライズされたアライメントタスクの両方において、競争力または優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-20T02:23:09Z)
• Direct Preference Optimization-Enhanced Multi-Guided Diffusion Model for Traffic Scenario Generation [0.0]
  拡散に基づくモデルは、現実的な交通シナリオを生成するために現実世界の運転データを使用することの有効性が認識されている。 これらのモデルは、特定のトラフィック嗜好を取り入れ、シナリオリアリズムを強化するためにガイド付きサンプリングを採用している。 本稿では,新しいトレーニング戦略を利用して,交通前兆に密着した多誘導拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-14T05:29:43Z)
• Calibrated Multi-Preference Optimization for Aligning Diffusion Models [92.90660301195396]
  Calibrated Preference Optimization (CaPO) は、テキスト・ツー・イメージ(T2I)拡散モデルを調整する新しい手法である。 CaPOは、人間の注釈のない複数の報酬モデルからの一般的な好みを取り入れている。 実験結果から, CaPOは従来法よりも常に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T18:59:23Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Sample Enrichment via Temporary Operations on Subsequences for Sequential Recommendation [15.718287580146272]
  本稿では,SETO(Subsequences on Subsequences)を用いたサンプルエンリッチメントという,シーケンシャルレコメンデーションのための新しいモデルに依存しない高汎用フレームワークを提案する。 複数の実世界のデータセットにまたがる、複数の代表的および最先端のシーケンシャルレコメンデーションモデルに対するSETOの有効性と汎用性を強調します。
  論文  参考訳（メタデータ） (2024-07-25T06:22:08Z)
• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion [53.90516061351706]
  両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。 本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-03-26T06:35:55Z)
• Rewards-in-Context: Multi-objective Alignment of Foundation Models with Dynamic Preference Adjustment [46.44464839353993]
  リワード・イン・コンテキスト(Rewards-in-Context, RiC)を導入する。 RiCは単一のファンデーションモデルの教師付き微調整のみを必要とし、推論時間中にユーザの好みを動的に調整する。
  論文  参考訳（メタデータ） (2024-02-15T18:58:31Z)
• Towards Flexible Inference in Sequential Decision Problems via Bidirectional Transformers [17.09745648221254]
  FlexiBiTフレームワークを導入し、さまざまなシーケンシャルな意思決定タスクでトレーニング可能なモデルを特定する統一的な方法を提供する。 1つのFlexiBiTモデルは、特別なモデルと同等かそれ以上のパフォーマンスで、同時に多くのタスクを実行することができる。
  論文  参考訳（メタデータ） (2022-04-28T07:50:08Z)
• Abstractive Sentence Summarization with Guidance of Selective Multimodal Reference [3.505062507621494]
  モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。 提案したmhsfモデルの汎用性を,事前学習+微調整および新鮮トレーニング戦略を用いて評価した。
  論文  参考訳（メタデータ） (2021-08-11T09:59:34Z)
• Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
  マルチモーダル空間における条件生成のための新しい枠組みを提案する。 潜在変数を使って一般化可能な学習パターンをモデル化する。 推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
  論文  参考訳（メタデータ） (2020-10-07T03:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。