Fugu-MT 論文翻訳(概要): PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers

論文の概要: PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers

arxiv url: http://arxiv.org/abs/2311.09180v1
Date: Wed, 15 Nov 2023 18:19:58 GMT
ステータス: 処理完了
システム内更新日: 2023-11-16 14:39:56.791714
Title: PEARL: Personalizing Large Language Model Writing Assistants with Generation-Calibrated Retrievers
Title（参考訳）: PEARL:ジェネレーションキャリヤを用いた大規模言語モデル記述アシスタント
Authors: Sheshera Mysore, Zhuoran Lu, Mengting Wan, Longqi Yang, Steve Menezes, Tina Baghaee, Emmanuel Barajas Gonzalez, Jennifer Neville, Tara Safavi
Abstract要約: PEARLは、ジェネレーションキャリブレーションされたレトリバーをパーソナライズした、検索強化LLM書き込みアシスタントである。我々のレトリバーは、迅速な拡張のために、歴史的なユーザによる文書を選択するように訓練されている。我々は、パーソナライズされた職場のソーシャルメディア投稿やRedditコメントの生成におけるPEARLの有効性を実証する。
参考スコア（独自算出の注目度）: 21.54975751297661
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Powerful large language models have facilitated the development of writing assistants that promise to significantly improve the quality and efficiency of composition and communication. However, a barrier to effective assistance is the lack of personalization in LLM outputs to the author's communication style and specialized knowledge. In this paper, we address this challenge by proposing PEARL, a retrieval-augmented LLM writing assistant personalized with a generation-calibrated retriever. Our retriever is trained to select historic user-authored documents for prompt augmentation, such that they are likely to best personalize LLM generations for a user request. We propose two key novelties for training our retriever: 1) A training data selection method that identifies user requests likely to benefit from personalization and documents that provide that benefit; and 2) A scale-calibrating KL-divergence objective that ensures that our retriever closely tracks the benefit of a document for personalized generation. We demonstrate the effectiveness of PEARL in generating personalized workplace social media posts and Reddit comments. Finally, we showcase the potential of a generation-calibrated retriever to double as a performance predictor and further improve low-quality generations via LLM chaining.
Abstract（参考訳）: 強力な大規模言語モデルは、作曲とコミュニケーションの質と効率を大幅に改善することを約束する筆記アシスタントの開発を促進する。しかし、効果的な支援の障壁は、著者のコミュニケーションスタイルや専門知識へのLLM出力のパーソナライゼーションの欠如である。本稿では, 検索強化LLM書込みアシスタントであるPEARLを提案することで, この課題に対処する。ユーザからの要望に応じてLDM世代をパーソナライズすることが最善であるような,ユーザ登録履歴文書の選定を指導する。我々は、レトリバーを訓練するための2つの重要なノベルティを提案する。 1)その利益を提供する個人化及び文書の恩恵を受ける可能性のあるユーザ要求を特定する訓練データ選択方法 2) kl-divergenceの目的は,個人化生成のための文書の利点を,レトリバーが密接に追跡することにある。我々は、パーソナライズされた職場のソーシャルメディア投稿やRedditコメントの生成におけるPEARLの有効性を示す。最後に, llm連鎖による低品質世代をさらに向上させる性能予測器として, 世代調整型レトリバーの可能性を示す。

関連論文リスト

Orca: Enhancing Role-Playing Abilities of Large Language Models by Integrating Personality Traits [4.092862870428798]
我々は,人格特性を統合することで,カスタム文字のLLMをデータ処理し,訓練するためのフレームワークOrcaを提案する。 Orcaは4つのステージで構成されている。パーソナリティ特性の推測、LCMの活用により、ユーザのBigFiveパーソナリティ特性のレポートとスコアを推測する。提案手法は,本ベンチマークにおいて優れた性能を示すことを示す。
論文参考訳（メタデータ） (2024-11-15T07:35:47Z)
Fine-Grained Guidance for Retrievers: Leveraging LLMs' Feedback in Retrieval-Augmented Generation [20.420575358183687]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に固有の幻覚を緩和する有効な方法であることが証明されている。従来のアプローチでは、通常、RAGの最適化に欠けるセマンティックな類似性に基づいて、レトリバーをトレーニングする。我々は,LLMの言語機能を活用して,より粒度の細かい情報中心の視点からサンプルを構築する新しいフレームワークFiGRetを提案する。
論文参考訳（メタデータ） (2024-11-06T14:42:39Z)
ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。本稿では,これらのモデルで共有される共通特性について述べる。報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文参考訳（メタデータ） (2024-05-27T17:38:33Z)
Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation [23.174810143027234]
本稿では,大規模言語モデル(LLM)のパーソナライズのための検索強化アプローチについて検討する。パーソナライズされた生成を目的とした,限られた数の個人文書を大規模言語モデルに配信する検索モデルを最適化するための最初の試みを提案する。
論文参考訳（メタデータ） (2024-04-09T02:58:05Z)
Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文参考訳（メタデータ） (2024-02-16T13:53:26Z)
LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文参考訳（メタデータ） (2023-11-14T01:38:02Z)
Enabling Language Models to Implicitly Learn Self-Improvement [49.16868302881804]
大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-02T04:29:40Z)
DoG-Instruct: Towards Premium Instruction-Tuning Data via Text-Grounded Instruction Wrapping [41.89443082174044]
本稿では,高品質な命令応答対を見つけるためのスケーラブルな解法を提案する。文脈のない自己生成にのみ依存するのではなく、人間による文書に基づくペアを生成するためにLLMを訓練する。提案手法は,幻覚を減らし,文書の表現をLLMでラップする手法である。
論文参考訳（メタデータ） (2023-09-11T13:41:18Z)
Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。本調査では,これらのアライメント技術の概要について概観する。
論文参考訳（メタデータ） (2023-07-24T17:44:58Z)
Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文参考訳（メタデータ） (2023-05-23T17:27:50Z)
Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
論文参考訳（メタデータ） (2023-04-24T07:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。