論文の概要: MATO: Multi-objective Personalized Alignment with Test-time Optimization for Large Language Models

• arxiv url: http://arxiv.org/abs/2605.25342v1
• Date: Mon, 25 May 2026 01:57:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.235786
• Title: MATO: Multi-objective Personalized Alignment with Test-time Optimization for Large Language Models
• Title（参考訳）: MATO:大規模言語モデルに対するテスト時間最適化による多目的パーソナライズアライメント
• Authors: Linhao Luo, Thuy-Trang Vu, Van-Anh Nguyen, Junae Kim, Gholamreza Haffari, Dinh Phung,
• Abstract要約: テスト時間最適化を伴う多目的パーソナライズアライメントのためのトレーニングフリーフレームワークであるMATOを紹介する。 MATOはパーソナライゼーションをテスト時間最適化問題として定式化し、復号時に制御可能な重みを通して複数の目的を相対的に重要視する。
• 参考スコア（独自算出の注目度）: 47.91243135663066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning large language models (LLMs) with diverse and multifaceted user preferences is a fundamental challenge in personalized AI systems. Existing multi-objective alignment methods either rely on costly training or require pre-trained reward models for each preference, making it difficult for them to adapt to evolving preferences. Prompt-based personalization offers a training-free alternative, but prompting alone often provides limited steerability, as LLMs may overemphasize or overlook certain preferences and fail to give users reliable control over the relative importance of different objectives when conflicts arise, leading to suboptimal alignment. In this paper, we introduce MATO, a training-free framework for Multi-objective personalized Alignment with Test-time Optimization. MATO formulates personalization as a test-time optimization problem that steers the relative importance of multiple objectives through controllable weights during decoding, without modifying model parameters or requiring external reward models. Specifically, a reward discovery module recovers preference rewards directly from the backbone LLM for diverse objectives specified in natural language, while a weight optimization module dynamically adjusts objective weights based on the user's initial preferences and the partially generated response to balance competing objectives during generation. The resulting rewards and weights jointly guide an online optimization procedure over the token distribution, enabling better alignment with the target objectives. Extensive experiments across multiple datasets and backbone LLMs show that MATO consistently outperforms strong baselines, achieving Pareto-improving multi-objective alignment and stronger steerability. These results highlight test-time optimization as a promising direction for scalable, controllable, and model-agnostic personalized alignment.
• Abstract（参考訳）: パーソナライズされたAIシステムにおいて、多面的かつ多面的なユーザ好みを持つ大規模言語モデル(LLM)のアラインメントは、根本的な課題である。 既存の多目的アライメント手法は、コストのかかるトレーニングに依存するか、それぞれの好みに対して事前訓練された報酬モデルを必要とするかのいずれかであり、進化する好みに適応することが困難である。 プロンプトベースのパーソナライゼーションは、トレーニングなしの代替手段を提供するが、LLMが特定の嗜好を過度に強調または無視し、競合が発生した時に異なる目的の相対的重要性をユーザが確実にコントロールできないため、しばしば制限された操縦性を提供する。 本稿では,テスト時間最適化を用いた多目的パーソナライズアライメントのためのトレーニングフリーフレームワークMATOを紹介する。 MATOはパーソナライゼーションをテスト時間最適化問題として定式化し、モデルパラメータを変更したり、外部の報酬モデルを必要とすることなく、復号時に制御可能な重みを通して複数の目的の相対的な重要性を判断する。 具体的には、報酬発見モジュールは、自然言語で特定された多様な目的に対して、バックボーンLSMから直接好みの報酬を回収し、ウェイト最適化モジュールは、ユーザの初期嗜好と、生成中の競合対象のバランスをとるために部分的に生成された応答に基づいて、目標の重みを動的に調整する。 結果として得られる報酬と重みは、目標目標との整合性を高めるために、トークン分布に対するオンライン最適化手順を共同でガイドする。 複数のデータセットとバックボーンLLMにわたる大規模な実験により、MATOは強いベースラインを一貫して上回り、パレート改善された多目的アライメントとより強力なステアビリティを実現している。 これらの結果は、スケーラブルで制御可能で、モデルに依存しないパーソナライズアライメントのための有望な方向として、テスト時の最適化を強調します。

関連論文リスト

• Preference Orchestrator: Prompt-Aware Multi-Objective Alignment for Large Language Models [35.23711225030795]
  本稿では,プロンプト固有の選好重みを自動推論する軽量な選好アダプタを特徴とする,Pop(PReference Orchestrator)という新しいフレームワークを提案する。 具体的には、好ましくは複数の報酬モデルから正規化報酬スコアをトレーニングすることにより、各プロンプトに対する適切な選好重みを学習する。 提案手法は,多目的アライメントシナリオにおいて,固定された選好重みよりも高い性能を達成できることを理論的解析により証明する。
  論文  参考訳（メタデータ） (2025-11-03T09:16:45Z)
• Robust Multi-Objective Preference Alignment with Online DPO [6.434799451791957]
  多目的選好アライメントは、パーソナライズ可能で、有用で、安全であるAIシステムの開発に不可欠である。 既存のアプローチは、トレーニングに計算コストがかかるか、モデル動作を十分に制御できないかのいずれかである。 本稿では,多目的オンラインDPOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T02:01:49Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization [76.09576643028362]
  複数のアライメント目的に対してMODPO(Multi-Objective Direct Preference Optimization)を提案する。 MODPOは、言語モデリングを直接報酬モデルに折り畳み、暗黙の集団報酬モデルとして言語モデルを訓練する。 理論的には MORLHF と同じ最適解が得られるが、実質的にはより安定で効率的である。
  論文  参考訳（メタデータ） (2023-10-05T17:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。