論文の概要: Multi-Prompting Decoder Helps Better Language Understanding
- arxiv url: http://arxiv.org/abs/2406.06279v1
- Date: Mon, 10 Jun 2024 13:58:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 13:48:16.013369
- Title: Multi-Prompting Decoder Helps Better Language Understanding
- Title（参考訳）: マルチプロンピングデコーダは、よりよい言語理解を支援する
- Authors: Zifeng Cheng, Zhaoling Chen, Zhiwei Jiang, Yafeng Yin, Shiping Ge, Yuliang Liu, Qing Gu,
- Abstract要約: 本稿では,MaaS適応のためのMPD(Multi-Prompting Decoder)フレームワークを提案する。
提案手法は,複数の自然言語理解データセットに対して,数ショット設定で新たな最先端結果を実現する。
- 参考スコア（独自算出の注目度）: 23.084538462710125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent Pre-trained Language Models (PLMs) usually only provide users with the inference APIs, namely the emerging Model-as-a-Service (MaaS) setting. To adapt MaaS PLMs to downstream tasks without accessing their parameters and gradients, some existing methods focus on the output-side adaptation of PLMs, viewing the PLM as an encoder and then optimizing a task-specific decoder for decoding the output hidden states and class scores of the PLM. Despite the effectiveness of these methods, they only use a single prompt to query PLMs for decoding, leading to a heavy reliance on the quality of the adopted prompt. In this paper, we propose a simple yet effective Multi-Prompting Decoder (MPD) framework for MaaS adaptation. The core idea is to query PLMs with multiple different prompts for each sample, thereby obtaining multiple output hidden states and class scores for subsequent decoding. Such multi-prompting decoding paradigm can simultaneously mitigate reliance on the quality of a single prompt, alleviate the issue of data scarcity under the few-shot setting, and provide richer knowledge extracted from PLMs. Specifically, we propose two decoding strategies: multi-prompting decoding with optimal transport for hidden states and calibrated decoding for class scores. Extensive experiments demonstrate that our method achieves new state-of-the-art results on multiple natural language understanding datasets under the few-shot setting.
- Abstract（参考訳）: 最近の事前訓練された言語モデル(PLM)は、通常、ユーザに対して推論API、すなわち新興のModel-as-a-Service(MaaS)設定を提供するだけである。
MaaS PLMをパラメータや勾配にアクセスすることなく下流タスクに適応させるため、既存の手法ではPLMの出力側適応に焦点を当て、PLMをエンコーダとみなし、PLMの出力隠蔽状態とクラススコアを復号するためのタスク固有のデコーダを最適化する。
これらの手法の有効性にもかかわらず、彼らは1つのプロンプトのみを使用してPLMをデコードし、採用したプロンプトの品質に大きく依存する。
本稿では,MaaS適応のためのMPD(Multi-Prompting Decoder)フレームワークを提案する。
中心となる考え方は、サンプル毎に複数の異なるプロンプトでPLMをクエリし、複数の出力隠蔽状態とその後の復号のためのクラススコアを取得することである。
このようなマルチプロンプトデコーディングのパラダイムは、単一のプロンプトの品質への依存を同時に軽減し、数ショット設定でデータ不足の問題を緩和し、PLMから抽出したより豊かな知識を提供する。
具体的には,隠蔽状態に対する最適トランスポートを用いたマルチプロンプトデコーディングと,クラススコアに対する校正デコーディングの2つの方法を提案する。
広範にわたる実験により,本手法は,複数の自然言語理解データセットに対して,数ショット設定で最新の結果が得られることを示した。
関連論文リスト
- Improving Minimum Bayes Risk Decoding with Multi-Prompt [10.401677244785166]
提案するマルチプロンプト復号法では,多くの候補が推論時にプロンプトバンクから復号される。
候補をアンサンブルするために、最小ベイズリスク(MBR)デコーディングを使用し、トレーニングされた値メトリックを使用して最終的な出力を選択する。
論文 参考訳（メタデータ） (2024-07-22T02:57:10Z) - SED: Self-Evaluation Decoding Enhances Large Language Models for Better Generation [35.10931307279044]
本稿では,モデル生成の高速化を目的とした自己評価復号法であるSEDを提案する。
推測と評価のステップをデコードプロセスに統合し、LCMがより慎重に決定できるようにします。
論文 参考訳（メタデータ） (2024-05-26T12:43:18Z) - Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in
Low-Resource Languages [0.0]
プロンプティング(prompting)とは、ユーザがタスクの説明と完了したタスクのいくつかの例を PLM にコンテキストとして提供し、PLM に新しい例でタスクを実行するように促す方法である。
提案手法は, 数発プロンプト(prompt), 言語適応微調整(LAFT), ニューラルマシン翻訳(Translate)の3種類である。
翻訳とプロンプトの設定は、選択した低リソース言語に対して、数ショットプロンプトの計算効率とコスト効率のよい方法であることがわかった。
論文 参考訳（メタデータ） (2024-03-09T21:36:13Z) - Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding [46.485363806259265]
投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。
復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。
本稿では,この有望な復号化パラダイムの概観と解析について述べる。
論文 参考訳（メタデータ） (2024-01-15T17:26:50Z) - Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。
本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。
推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
論文 参考訳（メタデータ） (2023-12-07T13:53:29Z) - Adapting Pre-trained Language Models to Vision-Language Tasks via
Dynamic Visual Prompting [83.21164539349273]
事前学習型言語モデル (PLM) はマルチメディア研究においてその役割を担っている。
本稿では,視覚言語推論タスクのスタンドアロンモデルとしてのPLMの探索に焦点をあてる。
ダイナミックビジュアル・プロンプティング(DVP)と呼ばれるPLMのための新しいトランスファー学習手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T07:19:28Z) - Masked and Permuted Implicit Context Learning for Scene Text Recognition [8.742571493814326]
シーン認識(STR)は、テキストスタイル、形状、背景の変化のため困難である。
単一のデコーダ内において、STRのためのマスク付き暗黙的文脈学習ネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-25T15:31:02Z) - VideoLLM: Modeling Video Sequence with Large Language Models [70.32832021713864]
既存のビデオ理解モデルは、しばしばタスク固有であり、多様なタスクを扱う包括的な能力に欠ける。
我々は,事前学習したLLMのシーケンス推論機能を活用する,VideoLLMという新しいフレームワークを提案する。
VideoLLMは慎重に設計されたModality and Semantic Translatorを組み込んでおり、様々なモードからの入力を統一されたトークンシーケンスに変換する。
論文 参考訳（メタデータ） (2023-05-22T17:51:22Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳（メタデータ） (2023-02-22T17:44:15Z) - Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed
Representations [51.75960511842552]
事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。
オーバーフィッティングを減らすために,PLMの隠れ表現を利用する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-11-16T09:39:29Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳（メタデータ） (2022-06-04T10:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。