論文の概要: One Model for All: Multi-Objective Controllable Language Models
- arxiv url: http://arxiv.org/abs/2604.04497v1
- Date: Mon, 06 Apr 2026 07:48:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:19.137099
- Title: One Model for All: Multi-Objective Controllable Language Models
- Title（参考訳）: 一つのモデル:多目的可制御言語モデル
- Abstract要約: 我々は、優先条件付きポリシーネットワークとして単一の言語モデルをトレーニングするために、MOC(Multi-Objective Control)を導入する。
提案手法では,マルチオブジェクト最適化(MOO)の原則をRLHFに導入し,LLMを優先条件付きポリシネットワークとしてトレーニングする。
大規模な実験は、3つの面において基線よりもMOCの利点を実証している。
- 参考スコア（独自算出の注目度）: 65.4626816393381
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aligning large language models (LLMs) with human preferences is critical for enhancing LLMs' safety, helpfulness, humor, faithfulness, etc. Current reinforcement learning from human feedback (RLHF) mainly focuses on a fixed reward learned from average human ratings, which may weaken the adaptability and controllability of varying preferences. However, creating personalized LLMs requires aligning LLMs with individual human preferences, which is non-trivial due to the scarce data per user and the diversity of user preferences in multi-objective trade-offs, varying from emphasizing empathy in certain contexts to demanding efficiency and precision in others. Can we train one LLM to produce personalized outputs across different user preferences on the Pareto front? In this paper, we introduce Multi-Objective Control (MOC), which trains a single LLM to directly generate responses in the preference-defined regions of the Pareto front. Our approach introduces multi-objective optimization (MOO) principles into RLHF to train an LLM as a preference-conditioned policy network. We improve the computational efficiency of MOC by applying MOO at the policy level, enabling us to fine-tune a 7B-parameter model on a single A6000 GPU. Extensive experiments demonstrate the advantages of MOC over baselines in three aspects: (i) controllability of LLM outputs w.r.t. user preferences on the trade-off among multiple rewards; (ii) quality and diversity of LLM outputs, measured by the hyper-volume of multiple solutions achieved; and (iii) generalization to unseen preferences. These results highlight MOC's potential for real-world applications requiring scalable and customizable LLMs.
- Abstract（参考訳）: 大きな言語モデル(LLM)を人間の好みで調整することは、LLMの安全性、有用性、ユーモア、忠実性などの向上に不可欠である。
人間のフィードバックからの現在の強化学習(RLHF)は、主に平均的な人間の評価から得られた固定報酬に焦点を当てており、様々な好みの適応性と制御性を弱める可能性がある。
しかし、パーソナライズされたLCMの作成には、ユーザ毎のデータ不足や多目的トレードオフにおけるユーザの嗜好の多様性から、特定のコンテキストにおける共感の強調から、他のコンテキストにおける効率性と精度の要求に至るまで、自明なLCMの調整が必要である。
1つのLCMをトレーニングして、Paretoのフロントでさまざまなユーザの好みに応じてパーソナライズされたアウトプットを生成できますか?
本稿では,パレートフロントの嗜好定義領域で直接応答を生成するために,単一のLLMを訓練する多目的制御(MOC)を導入する。
提案手法では,マルチオブジェクト最適化(MOO)の原則をRLHFに導入し,LLMを優先条件付きポリシネットワークとしてトレーニングする。
ポリシーレベルでMOOを適用し,単一のA6000 GPU上で7Bパラメータモデルを微調整することで,MOCの計算効率を向上させる。
広汎な実験は、3つの点において基線よりもMOCの利点を実証している。
i) LLMの可制御性は,複数の報酬のトレードオフに関するユーザ嗜好を出力する。
(II)複数解の超体積で測定したLCM出力の品質と多様性
(三)見知らぬ好みへの一般化
これらの結果は、スケーラブルでカスタマイズ可能なLLMを必要とする実世界のアプリケーションに対するMOCの可能性を浮き彫りにしている。
関連論文リスト
- MATO: Multi-objective Personalized Alignment with Test-time Optimization for Large Language Models [47.91243135663066]
テスト時間最適化を伴う多目的パーソナライズアライメントのためのトレーニングフリーフレームワークであるMATOを紹介する。
MATOはパーソナライゼーションをテスト時間最適化問題として定式化し、復号時に制御可能な重みを通して複数の目的を相対的に重要視する。
論文 参考訳（メタデータ） (2026-05-25T01:57:22Z) - Many Preferences, Few Policies: Towards Scalable Language Model Personalization [26.263947748558824]
LLMパーソナライゼーションの聖杯は、各ユーザのための単一のLCMで、そのユーザの好みと完全に一致しています。
ヘテロジニアスユーザ間の代表的振る舞いをキャプチャする,LLMの小さなポートフォリオを選択するための基本的手法を開発した。
これらの保証を検証し、共通のベースラインよりも高い出力多様性を示す実験結果を提供する。
論文 参考訳（メタデータ） (2026-04-05T15:12:07Z) - Can a Unimodal Language Agent Provide Preferences to Tune a Multimodal Vision-Language Model? [8.976163131623773]
本稿では,言語エージェントが視覚言語モデル(VLM)にフィードバックを与え,テキスト生成をエージェントの好みに適応させる手法を提案する。
提案手法を用いることで,VLMはマルチモーダルなシーン記述を生成することができ,マルチモーダルなコンテキストをよりよく理解できるようにする。
論文 参考訳（メタデータ） (2026-01-10T04:28:53Z) - Uncertainty-Aware Answer Selection for Improved Reasoning in Multi-LLM Systems [55.6590601898194]
大規模言語モデル(LLM)は例外的な機能を示しているが、複数のLLMから最も信頼性の高い応答を選択することは依然として困難である。
既存のアプローチは、しばしばコストのかかる外部検証器、人間の評価器、または単一のモデルから複数のサンプルを必要とする自己整合技術に依存している。
校正されたログ類似度スコアを用いて,複数のLLMから最適な応答を選択するための,原理的,斬新で,計算的に効率的な手法を提案する。
論文 参考訳（メタデータ） (2025-09-30T01:25:19Z) - Measuring What Makes You Unique: Difference-Aware User Modeling for Enhancing LLM Personalization [68.79814761867314]
本稿では,Large Language Models (LLM) のパーソナライゼーションを強化するために,差分認識パーソナライズ学習(DPL)を提案する。
DPLは、戦略的に代表ユーザを比較のために選択し、タスク関連の違いを抽出するための構造化標準を確立する。
実世界のデータセットの実験により、DPLはLLMのパーソナライゼーションを大幅に向上させることが示された。
論文 参考訳（メタデータ） (2025-03-04T09:53:26Z) - LLM Bandit: Cost-Efficient LLM Generation via Preference-Conditioned Dynamic Routing [3.090041654375235]
本稿では, LLM選択過程を多武装バンディット問題として定式化する新しい枠組みを提案する。
提案手法は好み条件付き動的ルーティング機構を組み込んでおり、ユーザーは推論時に好みを指定できる。
提案手法は,LLMプラットフォーム間での精度とコスト効率の両立を実現している。
論文 参考訳（メタデータ） (2025-02-04T22:09:43Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-18T16:14:59Z) - MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。
LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。
提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
論文 参考訳（メタデータ） (2024-10-18T05:31:13Z) - Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
調整可能な大きな言語モデル(LLM)をトレーニングします。
木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。
評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
論文 参考訳（メタデータ） (2024-10-04T17:48:29Z) - Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization [76.09576643028362]
複数のアライメント目的に対してMODPO(Multi-Objective Direct Preference Optimization)を提案する。
MODPOは、言語モデリングを直接報酬モデルに折り畳み、暗黙の集団報酬モデルとして言語モデルを訓練する。
理論的には MORLHF と同じ最適解が得られるが、実質的にはより安定で効率的である。
論文 参考訳（メタデータ） (2023-10-05T17:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。