論文の概要: Multi-objective Large Language Model Alignment with Hierarchical Experts
- arxiv url: http://arxiv.org/abs/2505.20925v1
- Date: Tue, 27 May 2025 09:15:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.538096
- Title: Multi-objective Large Language Model Alignment with Hierarchical Experts
- Title（参考訳）: 階層的エキスパートによる多目的大言語モデルアライメント
- Authors: Zhuo Li, Guodong Du, Weiyang Guo, Yigeng Zhou, Xiucheng Li, Wenya Wang, Fangming Liu, Yequan Wang, Deheng Ye, Min Zhang, Jing Li,
- Abstract要約: textitHoEは、LoRA Experts、Router Experts、Preference Routingの3つの階層的なコンポーネントで構成されている。
我々は、14の目標と6つのベンチマークのうち200の選好に基づいて、様々なタスクにまたがるtextitHoEを評価し、15の最近のベースラインよりも優れた性能を示した。
- 参考スコア（独自算出の注目度）: 39.14442626829845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aligning large language models (LLMs) to simultaneously satisfy multiple objectives remains a significant challenge, especially given the diverse and often conflicting nature of human preferences. Existing alignment methods struggle to balance trade-offs effectively, often requiring costly retraining or yielding suboptimal results across the Pareto frontier of preferences. In this paper, we introduce \textit{HoE}(Hierarchical Mixture-of-Experts), a \textit{lightweight}, \textit{parameter-efficient}, and \textit{plug-and-play} approach that eliminates the need for model training, while enabling LLMs to adapt across the entire Pareto frontier and accommodate diverse user preferences. In particular, \textit{HoE} consists of three hierarchical components: LoRA Experts, Router Experts and Preference Routing, reaching optimal Pareto frontiers and achieving a trade-off between parameter size, training cost, and performance. We evaluate \textit{HoE} across various tasks on 14 objectives and 200 different preferences among 6 benchmarks, demonstrating superior performance over 15 recent baselines. Code is available in the supplementary materials.
- Abstract（参考訳）: 複数の目的を同時に満たすための大きな言語モデル(LLM)の調整は、特に人間の好みの多様性と相反する性質を考えると、大きな課題である。
既存のアライメント手法はトレードオフを効果的にバランスさせるのに苦労しており、しばしばパレート・フロンティアをまたいで、コストのかかる再訓練や、最適以下の結果を得る必要がある。
本稿では,Paretoフロンティア全体にわたってLLMを適応させ,多様なユーザの嗜好に適応しつつ,モデルトレーニングの必要をなくした \textit{HoE}(Hierarchical Mixture-of-Experts), a \textit{lightweight}, \textit{parameter-efficient}, and \textit{plug-and-play} アプローチを紹介する。
特に \textit{HoE} は,3つの階層的なコンポーネントで構成されている。 LoRA Experts, Router Experts, Preference Routing – 最適なParetoフロンティアに到達し,パラメータサイズ,トレーニングコスト,パフォーマンスのトレードオフを実現する。
我々は,14の目的と6つのベンチマークのうち200の選好に対して,さまざまなタスクに対して \textit{HoE} を評価し,最近の15のベースラインよりも優れた性能を示した。
コードは補足資料で入手できる。
関連論文リスト
- Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes [54.93980123979578]
我々は、暗黙の要因をモデル化する新しいフレームワークであるLatent Preference Coding (LPC)を紹介する。
LPCは様々なオフラインアライメントアルゴリズムとシームレスに統合し、基礎となる要因とデータからその重要性を自動的に推測する。
論文 参考訳（メタデータ） (2025-05-08T06:59:06Z) - ParetoHqD: Fast Offline Multiobjective Alignment of Large Language Models using Pareto High-quality Data [20.42976162135529]
多目的アライメントアルゴリズムは高い性能と効率を示している。
不適切な選好表現と不均衡報酬スコアによるトレーニングは、そのようなアルゴリズムの性能を制限する。
論文 参考訳（メタデータ） (2025-04-23T11:35:57Z) - UC-MOA: Utility-Conditioned Multi-Objective Alignment for Distributional Pareto-Optimality [52.49062565901046]
Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値を整合させる基盤となっている。
既存のアプローチは、人間の好みの多次元、分布的なニュアンスを捉えるのに苦労している。
本稿では,これらの制約を克服する新しいフレームワークであるUtility-Conditioned Multi-Objective Alignment (UC-MOA)を紹介する。
論文 参考訳（メタデータ） (2025-03-10T09:52:42Z) - Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning [76.10639521319382]
シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。
我々は,Sybolic-MoEのインスタンスレベルのエキスパート選択により,大きなマージンで性能が向上することを示した。
論文 参考訳（メタデータ） (2025-03-07T18:03:13Z) - Robust Multi-Objective Preference Alignment with Online DPO [6.434799451791957]
多目的選好アライメントは、パーソナライズ可能で、有用で、安全であるAIシステムの開発に不可欠である。
既存のアプローチは、トレーニングに計算コストがかかるか、モデル動作を十分に制御できないかのいずれかである。
本稿では,多目的オンラインDPOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-01T02:01:49Z) - MoSH: Modeling Multi-Objective Tradeoffs with Soft and Hard Bounds [29.347695311801864]
本稿では,ソフトハード関数 SHF を運用する新しい概念フレームワークを提案する。
SHFフレームワークに適合する多くの実践的問題を示し、多様なドメインに対する広範な実証的検証を提供する。
具体的には、ブラキセラピーでは、次の最良アプローチよりも3%以上のSHF定義ユーティリティを持つコンパクトな点集合を返す。
論文 参考訳（メタデータ） (2024-12-09T02:32:20Z) - MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。
LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。
提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
論文 参考訳（メタデータ） (2024-10-18T05:31:13Z) - T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning [31.276142111455847]
大規模言語モデル(LLM)は多様なマルチタスクの微調整において重要な適応課題に直面している。
我々はmixunderlinetextbfTureunderlinetextbf-of-underlinetextbfRank-onunderlinetextbfE-eunderlinetextbfXper ts (textttT-REX) という新しいフレームワークを設計する。
Rank-1のエキスパートは、ミックス・アンド・マッチのメカニズムにより、線形パラメータのオーバーヘッドを持つエキスパートのベクトル部分空間を2次に拡張し、最適で近似誤差削減を達成することができる。
論文 参考訳（メタデータ） (2024-04-13T12:14:58Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳（メタデータ） (2022-10-18T11:20:54Z) - Exact Pareto Optimal Search for Multi-Task Learning and Multi-Criteria
Decision-Making [10.914300987810128]
EPO 探索は線形収束速度で EPO 解に収束することを示す。
我々は, PFを後部MCDMで近似するPESA-EPOと, 対話型MCDMで誘導するGP-EPOという新しいアルゴリズムを開発した。
EPO検索は変数数と線形にスケールし、ディープEコマースネットワークに使用することができる。
論文 参考訳（メタデータ） (2021-08-02T02:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。