Fugu-MT 論文翻訳(概要): Multi-Objective Exploration and Preference Optimization via Mutual Information

論文の概要: Multi-Objective Exploration and Preference Optimization via Mutual Information

arxiv url: http://arxiv.org/abs/2607.01392v1
Date: Wed, 01 Jul 2026 18:50:14 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-03 19:45:08.55842
Title: Multi-Objective Exploration and Preference Optimization via Mutual Information
Title（参考訳）: 相互情報を用いた多目的探索と選好最適化
Abstract要約: 情報理論フレームワークMI-EPO(Multi-Objective Exploration and Optimization Preference)を提案する。 MI-EPOは、生成した応答、嗜好フィードバック、選好ベクトルのジョイント条件相互情報を最大化することにより、多目的探索とアライメントを統一する。安全なアライメントと補助的アシスタントタスクの実験により、MI-EPOは生成した応答と選好ベクトルとのアライメントを著しく改善することが示された。
参考スコア（独自算出の注目度）: 28.76886053636383
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Aligning large language models with diverse and heterogeneous human values requires multi-objective alignment methods to effectively trade off conflicting preference dimensions. Current methods achieve this trade-off by training policies conditioned on preference vectors and leveraging online direct preference optimization. However, exploration uncertainty can cause the reward distributions of responses generated under different preference vectors to overlap, and the generated responses may fail to effectively align with the corresponding preference vectors. In this paper, we propose Multi-Objective Exploration and Preference Optimization via Mutual Information (MI-EPO), an information-theoretic framework. It unifies multi-objective exploration and alignment by maximizing the joint conditional mutual information among generated responses, preference feedback, and preference vectors. By incorporating a probabilistic routing mechanism, MI-EPO naturally decomposes objective alignment and preference-aware exploration, encouraging the model to generate responses that are distinguishable and aligned with different preference conditions. Experiments on safe alignment and helpful assistant tasks show that MI-EPO significantly improves the alignment between generated responses and preference vectors, makes the outputs more controllable, and achieves stable trade-offs across multiple objectives.
Abstract（参考訳）: 多様な異質な人間の価値を持つ大きな言語モデルを調整するには、矛盾する好みの次元を効果的に取り除くための多目的アライメント手法が必要である。現在の手法は、嗜好ベクトルを条件としたトレーニングポリシーと、オンラインの直接選好最適化を活用することで、このトレードオフを実現する。しかし、探索の不確実性は、異なる選好ベクトルの下で生成された応答の報酬分布が重複し、生成された応答は対応する選好ベクトルと効果的に一致しない可能性がある。本稿では,情報理論フレームワークMI-EPOによる多目的探索と参照最適化を提案する。生成した応答、選好フィードバック、選好ベクトルのジョイント条件相互情報を最大化することにより、多目的探索とアライメントを統一する。確率的ルーティング機構を導入することで、MI-EPOは自然に客観的アライメントと選好意識の探索を分解し、異なる選好条件に適合する応答を生成するようモデルに促す。安全なアライメントと補助的タスクの実験により、MI-EPOは生成した応答と選好ベクトルのアライメントを著しく改善し、出力をより制御しやすくし、複数の目的に対して安定したトレードオフを実現する。

関連論文リスト

Meta-Aligner: Bidirectional Preference-Policy Optimization for Multi-Objective LLMs Alignment [35.36029664224222]
多目的アライメント(Multi-Objective Alignment)は、大規模言語モデルと、多様でしばしば相反する人間の価値との整合を目標とする。本稿では,Meal,すなわちMeta ALignerを提案する。
論文参考訳（メタデータ） (2026-04-27T08:36:13Z)
MGDA-Decoupled: Geometry-Aware Multi-Objective Optimisation for DPO-based LLM Alignment [6.301256425456381]
幾何学に基づく多目的最適化アルゴリズムMGDA-Decoupledを導入する。それぞれの目的の収束ダイナミクスを明示的に説明しながら、共通の降下方向を見つける。 UltraFeedbackデータセットの実験では、MGDA-Decoupledがゴールデンレスポンスに対して最高勝利率を達成した。
論文参考訳（メタデータ） (2026-04-22T15:33:45Z)
RecNet: Self-Evolving Preference Propagation for Agentic Recommender Systems [109.9061591263748]
RecNetは、レコメンデータシステムのための自己進化的な好みの伝達フレームワークである。関連ユーザやアイテム間で、リアルタイムの好み更新を積極的に伝達する。逆相では、フィードバック駆動の伝搬最適化機構がマルチエージェント強化学習フレームワークをシミュレートする。
論文参考訳（メタデータ） (2026-01-29T12:14:31Z)
Preference-Guided Diffusion for Multi-Objective Offline Optimization [64.08326521234228]
オフライン多目的最適化のための優先誘導拡散モデルを提案する。我々の指導は、ある設計が他の設計を支配する確率を予測するために訓練された選好モデルである。本結果は,多種多様な高品質な解を生成する上での分類器誘導拡散モデルの有効性を浮き彫りにした。
論文参考訳（メタデータ） (2025-03-21T16:49:38Z)
Self-Improvement Towards Pareto Optimality: Mitigating Preference Conflicts in Multi-Objective Alignment [74.25832963097658]
マルチオブジェクトアライメント(MOA)は、応答を複数の人間の嗜好目標に合わせることを目的としている。 DPOをベースとしたMOAアプローチは、データに広範囲にわたる優先的対立に悩まされている。
論文参考訳（メタデータ） (2025-02-20T08:27:00Z)
Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。数発のステアライメントのための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-18T16:14:59Z)
Dynamic Detection of Relevant Objectives and Adaptation to Preference Drifts in Interactive Evolutionary Multi-Objective Optimization [2.4374097382908477]
意思決定過程を通じて進化し,目的の関連性に影響を与えるDM選好の動的性質について検討する。このような変化が起こると、時代遅れや相反する好みを解消する手法を提案する。実験により,提案手法は進化する嗜好を効果的に管理し,アルゴリズムが生成するソリューションの品質と望ましさを著しく向上することを示した。
論文参考訳（メタデータ） (2024-11-07T09:09:06Z)
Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文参考訳（メタデータ） (2024-08-14T11:29:47Z)
Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
論文参考訳（メタデータ） (2024-02-29T12:12:30Z)
Bayesian Inverse Transfer in Evolutionary Multiobjective Optimization [29.580786235313987]
InvTrEMO(InvTrEMO)の第1回リバーストランスファー・マルチオブジェクト(InvTrEMO)を紹介する。 InvTrEMOは、決定空間がタスク間で正確に整合していない場合でも、多くの一般的な領域で共通の目的関数を利用する。 InvTrEMOは、高い精度の逆モデルを重要な副産物とし、オンデマンドで調整されたソリューションの生成を可能にする。
論文参考訳（メタデータ） (2023-12-22T14:12:18Z)
Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization [76.09576643028362]
複数のアライメント目的に対してMODPO(Multi-Objective Direct Preference Optimization)を提案する。 MODPOは、言語モデリングを直接報酬モデルに折り畳み、暗黙の集団報酬モデルとして言語モデルを訓練する。理論的には MORLHF と同じ最適解が得られるが、実質的にはより安定で効率的である。
論文参考訳（メタデータ） (2023-10-05T17:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。