論文の概要: Unsupervised Human Preference Learning

• arxiv url: http://arxiv.org/abs/2410.03731v3
• Date: Fri, 11 Oct 2024 18:53:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:18:28.582661
• Title: Unsupervised Human Preference Learning
• Title（参考訳）: 教師なしの人間選好学習
• Authors: Sumuk Shashidhar, Abhinav Chinta, Vaibhav Sahai, Dilek Hakkani-Tür,
• Abstract要約: 大きな言語モデルは印象的な推論能力を示しているが、パーソナライズされたコンテンツを提供するのに苦労している。 文脈内学習やパラメータ効率のよい微調整といった既存の手法は、人間の嗜好の複雑さを捉えるには不十分である。 そこで本研究では,より大規模で事前学習されたモデルを示す自然言語規則を生成するために,小パラメータモデルを選好エージェントとして活用する手法を提案する。
• 参考スコア（独自算出の注目度）: 7.959043497459107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models demonstrate impressive reasoning abilities but struggle to provide personalized content due to their lack of individual user preference information. Existing methods, such as in-context learning and parameter-efficient fine-tuning, fall short in capturing the complexity of human preferences, especially given the small, personal datasets individuals possess. In this paper, we propose a novel approach utilizing small parameter models as preference agents to generate natural language rules that guide a larger, pre-trained model, enabling efficient personalization. Our method involves a small, local "steering wheel" model that directs the outputs of a much larger foundation model, producing content tailored to an individual's preferences while leveraging the extensive knowledge and capabilities of the large model. Importantly, this personalization is achieved without the need to fine-tune the large model. Experimental results on email and article datasets, demonstrate that our technique significantly outperforms baseline personalization methods. By allowing foundation models to adapt to individual preferences in a data and compute-efficient manner, our approach paves the way for highly personalized language model applications.
• Abstract（参考訳）: 大規模言語モデルは、印象的な推論能力を示すが、個々のユーザの好み情報がないため、パーソナライズされたコンテンツの提供に苦慮している。 文脈内学習やパラメータ効率のよい微調整といった既存の手法は、個人の所有する小さな個人データセットを考えると、人間の嗜好の複雑さを捉えるには不十分である。 本稿では,より大規模で訓練済みのモデルを指導する自然言語規則を生成するために,小パラメータモデルを選好エージェントとして活用し,効率的なパーソナライズを実現する手法を提案する。 提案手法では, より大規模な基礎モデルの出力を誘導し, 大規模モデルの広範な知識と能力を活用しながら, 個人の好みに合わせたコンテンツを生成する。 重要なのは、このパーソナライゼーションは、大きなモデルを微調整する必要がないことだ。 メールや記事のデータセットによる実験結果から,本手法がベースラインのパーソナライズ手法を著しく上回ることを示した。 基礎モデルをデータと計算効率のよい方法で個別の好みに適応させることにより、我々のアプローチは高度にパーソナライズされた言語モデルアプリケーションへの道を開く。

関連論文リスト

• Investigating on RLHF methodology [0.0]
  本稿では,人間の嗜好をシミュレートする選好モデル(Preference Model)の訓練の特徴と,最良の結果を達成する上で不可欠な方法や詳細について論じる。 また、強化学習(Reinforcement Learning)を用いて大規模言語モデルを微調整し、直面した課題と克服方法を説明する。
  論文  参考訳（メタデータ） (2024-10-02T17:46:22Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Towards Unified Multi-Modal Personalization: Large Vision-Language Models for Generative Recommendation and Beyond [87.1712108247199]
  我々の目標は、マルチモーダルパーソナライゼーションシステム(UniMP)のための統一パラダイムを確立することである。 我々は、幅広いパーソナライズされたニーズに対処できる汎用的でパーソナライズされた生成フレームワークを開発する。 我々の手法は、パーソナライズされたタスクのための基礎言語モデルの能力を高める。
  論文  参考訳（メタデータ） (2024-03-15T20:21:31Z)
• Personalized Language Modeling from Personalized Human Feedback [49.344833339240566]
  人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)は、人間の好みに合わせて大きな言語モデルを微調整するために一般的に用いられる。 本研究では,パーソナライズされた言語モデルを構築する手法を開発することにより,この問題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-02-06T04:18:58Z)
• When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities [60.5609416496429]
  大規模言語モデルの能力は劇的に改善されている。 このような大きな飛躍的なAI能力は、パーソナライゼーションの実施方法のパターンを変えるだろう。 大規模言語モデルを汎用インターフェースとして活用することにより、パーソナライズシステムはユーザ要求を計画にコンパイルすることができる。
  論文  参考訳（メタデータ） (2023-07-31T02:48:56Z)
• Selective Pre-training for Private Fine-tuning [33.55628974557588]
  パブリックデータセットでの注意深い事前トレーニングは、小さな言語モデルを異なるプライバシでトレーニングするために不可欠であることを示す。 その結果、より小さなモデルでは、注意深い事前トレーニングとプライベートな微調整によって、プライベートデータにアクセスできないはるかに大きなモデルの性能にマッチすることを示した。
  論文  参考訳（メタデータ） (2023-05-23T09:36:58Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Self-Supervised Learning for Personalized Speech Enhancement [25.05285328404576]
  音声強調システムは、モデルを単一のテストタイムスピーカーに適応させることで、パフォーマンスを向上させることができる。 テスト時間ユーザーは少量のノイズのない音声データしか提供せず、従来の完全教師付き学習には不十分である。 本研究では,個人的音声記録から個人的・差別的な特徴を学習するための自己指導手法を提案する。
  論文  参考訳（メタデータ） (2021-04-05T17:12:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。