論文の概要: MPrompt: Exploring Multi-level Prompt Tuning for Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2310.18167v1
• Date: Fri, 27 Oct 2023 14:24:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 13:32:41.681961
• Title: MPrompt: Exploring Multi-level Prompt Tuning for Machine Reading Comprehension
• Title（参考訳）: MPrompt: マシン読み込み理解のためのマルチレベルプロンプトチューニング
• Authors: Guoxin Chen and Yiming Qian and Bowen Wang and Liangzhi Li
• Abstract要約: 機械読取理解のためのマルチレベルプロンプトチューニング(MPrompt)手法を提案する。 タスク特化、ドメイン特化、コンテキスト特化レベルでのプロンプトを利用して、入力セマンティクスの理解を強化する。 各種QAフォーマットのベンチマーク12件について広範な実験を行い,最先端手法よりも平均1.94%向上した。
• 参考スコア（独自算出の注目度）: 19.12663587559988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The large language models have achieved superior performance on various natural language tasks. One major drawback of such approaches is they are resource-intensive in fine-tuning new datasets. Soft-prompt tuning presents a resource-efficient solution to fine-tune the pre-trained language models (PLMs) while keeping their weight frozen. Existing soft prompt methods mainly focus on designing the input-independent prompts that steer the model to fit the domain of the new dataset. Those methods often ignore the fine-grained information about the task and context of the text. In this paper, we propose a multi-level prompt tuning (MPrompt) method for machine reading comprehension. It utilizes prompts at task-specific, domain-specific, and context-specific levels to enhance the comprehension of input semantics at different granularities. We also propose an independence constraint to steer each domain-specific prompt to focus on information within its domain to avoid redundancy. Moreover, we present a prompt generator that incorporates context-related knowledge in the prompt generation to enhance contextual relevancy. We conducted extensive experiments on 12 benchmarks of various QA formats and achieved an average improvement of 1.94\% over the state-of-the-art methods.
• Abstract（参考訳）: 大規模言語モデルは様々な自然言語タスクにおいて優れた性能を達成している。 このようなアプローチの大きな欠点のひとつは、リソース集約的な新しいデータセットの微調整だ。 ソフトプロンプトチューニングは、プレトレーニング言語モデル(plm)を凍結しながら微調整するリソース効率の良いソリューションを提供する。 既存のソフトプロンプトメソッドは主に、入力非依存のプロンプトを設計することに焦点を当て、新しいデータセットのドメインに適合するようにモデルを操る。 これらの方法は、しばしばテキストのタスクとコンテキストに関するきめ細かい情報を無視します。 本稿では,機械読取理解のためのマルチレベルプロンプトチューニング(MPrompt)手法を提案する。 タスク特化、ドメイン特化、コンテキスト特化レベルでのプロンプトを利用して、異なる粒度の入力セマンティクスの理解を強化する。 また,各ドメイン固有のプロンプトに対して,冗長性を回避するために,ドメイン内の情報に集中するための独立制約を提案する。 さらに,文脈関連知識をプロンプト生成に取り入れ,文脈関連性を高めるプロンプト生成器を提案する。 各種QAフォーマットのベンチマーク12件について広範な実験を行い,最先端手法よりも平均1.94\%向上した。

関連論文リスト

• Mixture of Prompt Learning for Vision Language Models [12.828490399811376]
  ルーティングモジュールを組み込んだソフトプロンプト学習手法の混合を提案する。 このモジュールはデータセットのさまざまなスタイルをキャプチャし、インスタンス毎に最も適切なプロンプトを動的に選択することができる。 また、意味的にグループ化されたテキストレベルの監視を実装し、各ソフトプロンプトを、そのグループから手動で設計されたテンプレートのトークン埋め込みで初期化する。
  論文  参考訳（メタデータ） (2024-09-18T14:25:02Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models [0.8899670429041453]
  生成型大規模言語モデル(LLM)は,広範囲なデータを必要とすることなく,非常に高品質なNLPタスクを解くことができることを示す。 新たなプロンプト戦略に基づいて,LLMが最先端の機械学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-26T06:39:35Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
  効率的なプロンプティング手法は幅広い注目を集めている。 本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
  ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
  論文  参考訳（メタデータ） (2022-10-03T17:56:35Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• Context-Tuning: Learning Contextualized Prompts for Natural Language Generation [52.835877179365525]
  自然言語生成のための微調整PLMに対して,Context-Tuningと呼ばれる新しい連続的プロンプト手法を提案する。 まず、入力テキストに基づいてプロンプトを導出し、PLMから有用な知識を抽出して生成する。 第二に、生成したテキストの入力に対する関連性をさらに高めるために、連続的な逆プロンプトを用いて自然言語生成のプロセスを洗練する。
  論文  参考訳（メタデータ） (2022-01-21T12:35:28Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。