論文の概要: PerPLM: Personalized Fine-tuning of Pretrained Language Models via
Writer-specific Intermediate Learning and Prompts
- arxiv url: http://arxiv.org/abs/2309.07727v1
- Date: Thu, 14 Sep 2023 14:03:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 12:52:58.610085
- Title: PerPLM: Personalized Fine-tuning of Pretrained Language Models via
Writer-specific Intermediate Learning and Prompts
- Title（参考訳）: PerPLM: ライター固有の中間学習とプロンプトによる事前学習言語モデルのパーソナライズされた微調整
- Authors: Daisuke Oba, Naoki Yoshinaga, Masashi Toyoda
- Abstract要約: 事前訓練言語モデル(PLM)はコンテキストをキャプチャするための強力なツールである。
PLMは通常、様々な作家の間で広く使われるように訓練され、微調整されている。
本研究では, PLMの微調整を具体化することで, テキスト理解タスクの精度を向上させることを目的とする。
- 参考スコア（独自算出の注目度）: 16.59511985633798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The meanings of words and phrases depend not only on where they are used
(contexts) but also on who use them (writers). Pretrained language models
(PLMs) are powerful tools for capturing context, but they are typically
pretrained and fine-tuned for universal use across different writers. This
study aims to improve the accuracy of text understanding tasks by personalizing
the fine-tuning of PLMs for specific writers. We focus on a general setting
where only the plain text from target writers are available for
personalization. To avoid the cost of fine-tuning and storing multiple copies
of PLMs for different users, we exhaustively explore using writer-specific
prompts to personalize a unified PLM. Since the design and evaluation of these
prompts is an underdeveloped area, we introduce and compare different types of
prompts that are possible in our setting. To maximize the potential of
prompt-based personalized fine-tuning, we propose a personalized intermediate
learning based on masked language modeling to extract task-independent traits
of writers' text. Our experiments, using multiple tasks, datasets, and PLMs,
reveal the nature of different prompts and the effectiveness of our
intermediate learning approach.
- Abstract（参考訳）: 言葉や句の意味は、使用する場所(文脈)だけでなく、使用する人(作家)にも依存する。
プレトレーニング言語モデル(PLM)はコンテキストをキャプチャするための強力なツールであるが、通常、様々なライターで広く使用されるように訓練され、微調整される。
本研究では, PLMの微調整を具体化することで, テキスト理解タスクの精度を向上させることを目的とする。
我々は、ターゲットライターのプレーンテキストのみをパーソナライズするための一般的な設定に焦点を当てる。
異なるユーザ向けに複数のPLMのコピーを微調整・保存するコストを回避するため、著者固有のプロンプトを用いて統一されたPLMをパーソナライズする。
これらのプロンプトの設計と評価は未開発の領域であるため、設定で可能なさまざまなタイプのプロンプトを導入し、比較する。
文字テキストのタスク非依存の特徴を抽出するマスク付き言語モデリングに基づくパーソナライズされた中間学習を提案する。
実験では、複数のタスク、データセット、PLMを用いて、異なるプロンプトの性質と中間学習アプローチの有効性を明らかにする。
関連論文リスト
- MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。
LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。
提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
論文 参考訳（メタデータ） (2024-10-18T05:31:13Z) - Selective Prompting Tuning for Personalized Conversations with LLMs [31.28284591597932]
textbfSelective textbfPrompt textbfTuning (SPT)を提案する。
SPTは、他の重要なパフォーマンス指標の改善とともに、応答の多様性を最大90%向上させる。
論文 参考訳（メタデータ） (2024-06-26T09:03:52Z) - Step-Back Profiling: Distilling User History for Personalized Scientific Writing [50.481041470669766]
大きな言語モデル(LLM)は、さまざまな自然言語処理タスクに優れていますが、個人向けにパーソナライズされたコンテンツを生成するのに苦労しています。
ユーザ履歴を簡潔なプロファイルに抽出することで,LSMをパーソナライズするためのSTEP-BACK ProFIlingを導入する。
本手法は,一般パーソナライゼーションベンチマークにおいて,ベースラインを最大3.6ポイント向上させる。
論文 参考訳（メタデータ） (2024-06-20T12:58:26Z) - Eliciting Human Preferences with Language Models [56.68637202313052]
言語モデル(LM)は、ラベル付き例や自然言語のプロンプトを使用してターゲットタスクを実行するように指示することができる。
タスク仕様プロセスのガイドには*LM自身を使うことを提案します。
我々は、メール検証、コンテンツレコメンデーション、道徳的推論の3つの領域でGATEを研究している。
論文 参考訳（メタデータ） (2023-10-17T21:11:21Z) - Learning to Rewrite Prompts for Personalized Text Generation [27.50476377270294]
パーソナライズされたテキスト生成のためのプロンプトを自動的に修正する新しい手法を提案する。
提案手法は、パーソナライズされた生成のための最先端のマルチステージフレームワークによって生成された初期プロンプトを取り込み、いくつかの重要なコンポーネントを書き換える。
書き直しプロンプトの詳細な分析は、人間の読みやすいだけでなく、手作業による手作業による書き直しも可能であることを示している。
論文 参考訳（メタデータ） (2023-09-29T21:15:49Z) - Teach LLMs to Personalize -- An Approach inspired by Writing Education [37.198598706659524]
大規模言語モデル(LLM)を用いたパーソナライズされたテキスト生成のための汎用的アプローチを提案する。
書字教育の実践に触発されて、パーソナライズされた世代にLLMを教えるためのマルチステージ・マルチタスク・フレームワークを開発した。
論文 参考訳（メタデータ） (2023-08-15T18:06:23Z) - MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text
Classification [65.51149771074944]
MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。
広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。
結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-06-15T06:51:35Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。
本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
論文 参考訳（メタデータ） (2021-08-24T09:39:35Z) - Enabling Language Models to Fill in the Blanks [81.59381915581892]
文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。
我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。
言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
論文 参考訳（メタデータ） (2020-05-11T18:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。