論文の概要: Meet Dynamic Individual Preferences: Resolving Conflicting Human Value with Paired Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.12479v1
• Date: Tue, 14 Apr 2026 09:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.361185
• Title: Meet Dynamic Individual Preferences: Resolving Conflicting Human Value with Paired Fine-Tuning
• Title（参考訳）: 動的個人選好について - ペア・ファイン・チューニングによる人的価値の対立を解決する
• Authors: Shanyong Wang, Shuhang Lin, Yining Zhao, Xi Zhu, Yongfeng Zhang,
• Abstract要約: Preference-Paired Fine-Tuning (PFT) は、モデルと矛盾する個々の好みを一致させるように設計されている。 PFTは単一参照訓練法を上回り、最大96.6%の精度で多重選択分類タスクを達成している。 ユーザー履歴データに制限があるため、モデルは好みベクトルを素早く推測することができ、44.76%の改善を達成できる。
• 参考スコア（独自算出の注目度）: 31.749460201489228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have significantly improved the alignment of models with general human preferences. However, a major challenge remains in adapting LLMs to individual preferences, which are not only diverse but also dynamic. In this paper, we introduce a novel framework, Preference-Paired Fine-Tuning (PFT), designed to align models with contradictory and evolving individual preferences. We present a new dataset, Value Conflict Dilemma (VCD), which includes scenarios that involve conflicting human preferences, facilitating the evaluation of our approach. Our experiments demonstrate that PFT outperforms single-preference training methods, achieving up to 96.6% accuracy in multi-choice classification tasks and the highest open-ended generation score of 8.69. PFT also shows significant improvements over DPO, SFT and some traditional training methods, especially when handling conflicting preferences. Additionally, with limited user history data, models can inferring preference vector rapidly, achieving a 44.76% improvement in user-specific preference alignment in comparison to single-preference models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、一般的な人間の嗜好とモデルのアライメントを大幅に改善している。 しかし、LLMを個別の嗜好に適応させることには大きな課題が残っており、それは多様であるだけでなく、動的でもある。 本稿では,モデルと矛盾する個別の嗜好を整合させる新しいフレームワーク,Preference-Paired Fine-Tuning(PFT)を提案する。 新しいデータセットであるValue Conflict Dilemma(VCD)を提案する。 実験の結果, PFT は複数項目の分類作業において96.6% の精度を達成し, 最大8.69 のオープン・エンド・ジェネレーション・スコアを達成できることがわかった。 PFTはまた、DPO、SFT、そしていくつかの伝統的な訓練方法、特に矛盾する好みを扱う際に、大幅に改善されている。 さらに、ユーザー履歴データに制限があるため、モデルは選好ベクトルを素早く推測することができ、単一選好モデルと比較して、ユーザ固有の選好アライメントが44.76%向上した。

関連論文リスト

• Towards Understanding Valuable Preference Data for Large Language Model Alignment [85.38864561060088]
  大規模言語モデル(LLM)のアライメントは通常、人間の好みの比較から学習することで達成される。 新たに提案したTruncated Influence Function (TIF) を用いた検証データに対する個人の影響によるデータ品質の評価を行う。 この目的のために、我々はそれらを組み合わせ、様々なエラーソースをオフセットし、単純だが効果的なデータ選択ルールをもたらす。
  論文  参考訳（メタデータ） (2025-10-15T06:57:55Z)
• Intuitionistic Fuzzy Sets for Large Language Model Data Annotation: A Novel Approach to Side-by-Side Preference Labeling [0.0]
  本稿では,多言語モデル(LLM)における人間の嗜好をモデル化・集約するための直観的ファジィ集合(IFS)に基づく新しい枠組みを提案する。 我々のアプローチは、選好の度合いだけでなく、メンバーシップ、非メンバーシップ、およびヒューイテーションの度合いを通じて、人間の判断に固有の不確実性や偏見も捉えている。 複数のデータセットに対する実験的検証は、我々のIFSベースのアプローチがアノテーションの一貫性を大幅に改善し、アノテータの疲労を低減し、高品質な嗜好データを生成することを示した。
  論文  参考訳（メタデータ） (2025-05-30T04:20:00Z)
• Calibrated Multi-Preference Optimization for Aligning Diffusion Models [90.15024547673785]
  Calibrated Preference Optimization (CaPO) は、テキスト・ツー・イメージ(T2I)拡散モデルを調整する新しい手法である。 CaPOは、人間の注釈のない複数の報酬モデルからの一般的な好みを取り入れている。 実験結果から, CaPOは従来法よりも常に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T18:59:23Z)
• Personalized Preference Fine-tuning of Diffusion Models [75.22218338096316]
  拡散モデルとパーソナライズされた嗜好を整合させるマルチリワード最適化の目的であるPDを導入する。 PPDでは、拡散モデルがユーザーの個人の好みを数秒で学習する。 提案手法は,Stable Cascadeに対して平均76%の勝利率を達成し,特定のユーザの好みをより正確に反映した画像を生成する。
  論文  参考訳（メタデータ） (2025-01-11T22:38:41Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
  本稿では,様々な大きさの報酬モデルに対する実験スケーリング法則の定量的解析を行った。 分析の結果,ヒトの嗜好の多様化による影響は,モデルサイズとデータサイズの両方に依存することが明らかとなった。 十分なキャパシティを持つ大きなモデルでは、さまざまな好みによるネガティブな影響が軽減される一方、より小さなモデルはそれらに対応するのに苦労する。
  論文  参考訳（メタデータ） (2023-12-12T16:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。