論文の概要: A Survey on Personalized and Pluralistic Preference Alignment in Large Language Models
- arxiv url: http://arxiv.org/abs/2504.07070v1
- Date: Wed, 09 Apr 2025 17:39:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-10 13:06:41.525754
- Title: A Survey on Personalized and Pluralistic Preference Alignment in Large Language Models
- Title（参考訳）: 大規模言語モデルにおけるパーソナライズされた多元的選好アライメントに関する調査
- Authors: Zhouhang Xie, Junda Wu, Yiran Shen, Yu Xia, Xintong Li, Aaron Chang, Ryan Rossi, Sachin Kumar, Bodhisattwa Prasad Majumder, Jingbo Shang, Prithviraj Ammanabrolu, Julian McAuley,
- Abstract要約: 本稿では,大規模言語モデルに対するパーソナライズされたアライメントとモデリングに関する研究について述べる。
本稿では,学習時間,推論時間,ユーザモデリングに基づく手法など,嗜好アライメント手法の分類を導入する。
- 参考スコア（独自算出の注目度）: 52.91062958231693
- License:
- Abstract: Personalized preference alignment for large language models (LLMs), the process of tailoring LLMs to individual users' preferences, is an emerging research direction spanning the area of NLP and personalization. In this survey, we present an analysis of works on personalized alignment and modeling for LLMs. We introduce a taxonomy of preference alignment techniques, including training time, inference time, and additionally, user-modeling based methods. We provide analysis and discussion on the strengths and limitations of each group of techniques and then cover evaluation, benchmarks, as well as open problems in the field.
- Abstract（参考訳）: 大規模言語モデルのパーソナライズされた嗜好アライメント(LLM)は,NLPとパーソナライゼーションの領域にまたがる新たな研究方向である。
本稿では,LLMのパーソナライズされたアライメントとモデリングに関する研究について述べる。
本稿では,学習時間,推論時間,ユーザモデリングに基づく手法など,嗜好アライメント手法の分類を導入する。
それぞれのテクニックの長所と短所について分析と議論を行い、評価、ベンチマーク、および分野におけるオープンな問題について紹介する。
関連論文リスト
- Personalized Multimodal Large Language Models: A Survey [127.9521218125761]
マルチモーダル大言語モデル(MLLM)は、最先端の性能と複数のデータモダリティを統合する能力により、ますます重要になっている。
本稿では,パーソナライズされたマルチモーダルな大規模言語モデルに関する包括的調査を行い,そのアーキテクチャ,トレーニング方法,アプリケーションに焦点をあてる。
論文 参考訳（メタデータ） (2024-12-03T03:59:03Z) - Personalization of Large Language Models: A Survey [131.00650432814268]
大規模言語モデル(LLM)のパーソナライゼーションは、最近、広範囲のアプリケーションでますます重要になっている。
パーソナライズ LLM に関する既存の研究の多くは、(a)パーソナライズされたテキスト生成、または(b)レコメンデーションシステムのようなパーソナライズに関連する下流アプリケーションに LLM を活用することに集中している。
パーソナライズされたLSM使用のための分類を導入し、主要な違いと課題を要約する。
論文 参考訳（メタデータ） (2024-10-29T04:01:11Z) - MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。
LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。
提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
論文 参考訳（メタデータ） (2024-10-18T05:31:13Z) - A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。
本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
論文 参考訳（メタデータ） (2024-06-17T03:52:51Z) - PoliTune: Analyzing the Impact of Data Selection and Fine-Tuning on Economic and Political Biases in Large Language Models [1.1704154007740835]
大規模言語モデル(LLM)における微調整とデータ選択が経済的・政治的バイアスに与える影響について検討する。
特定のイデオロギーとLLMの整合性を検討するための微調整手法であるPoliTuneを紹介した。
我々は、データセットの選択、アノテーション、DPO(Direct Preference Optimization)のための選好データセットの合成にオープンソースのLlama3-70Bを使用する体系的手法を導入し、そのモデルと所定の政治的イデオロギーを整合させる。
論文 参考訳（メタデータ） (2024-04-10T16:30:09Z) - Supervised Fine-Tuning as Inverse Reinforcement Learning [8.044033685073003]
LLM(Large Language Models)の整合性に対する一般的なアプローチは、一般的に人間やAIのフィードバックに依存します。
本研究では,このようなデータセットの有効性に疑問を呈し,専門家による実演との整合性がより現実的であることを証明した様々なシナリオを探索する。
論文 参考訳（メタデータ） (2024-03-18T17:52:57Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳（メタデータ） (2023-07-24T17:44:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。