論文の概要: Do Prompt-Based Models Really Understand the Meaning of their Prompts?

• arxiv url: http://arxiv.org/abs/2109.01247v1
• Date: Thu, 2 Sep 2021 23:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 14:02:23.841869
• Title: Do Prompt-Based Models Really Understand the Meaning of their Prompts?
• Title（参考訳）: プロンプトに基づくモデルは、プロンプトの意味を本当に理解しているか?
• Authors: Albert Webson, Ellie Pavlick
• Abstract要約: モデルは、意図的に無関係で、あるいは病理学的に誤解を招く多くのプロンプトで、同じように速く学習する。 既存のプロンプトベースのモデルが与えられたプロンプトの意味を真に理解していることを示す証拠はほとんど見つからない。
• 参考スコア（独自算出の注目度）: 12.857580576554865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a boom of papers have shown extraordinary progress in few-shot learning with various prompt-based models. Such success can give the impression that prompts help models to learn faster in the same way that humans learn faster when provided with task instructions expressed in natural language. In this study, we experiment with over 30 prompts manually written for natural language inference (NLI). We find that models learn just as fast with many prompts that are intentionally irrelevant or even pathologically misleading as they do with instructively "good" prompts. Additionally, we find that model performance is more dependent on the choice of the LM target words (a.k.a. the "verbalizer" that converts LM vocabulary prediction to class labels) than on the text of the prompt itself. In sum, we find little evidence that suggests existing prompt-based models truly understand the meaning of their given prompts.
• Abstract（参考訳）: 近年,様々なプロンプトベースモデルを用いた数ショット学習が急激な進歩を見せている。 このような成功は、自然言語で表現されたタスク命令が与えられたときと同じように、モデルがより速く学習できるように促す印象を与える。 本研究では,自然言語推論(NLI)のために手書きの30以上のプロンプトを用いて実験を行った。 モデルが学習する速度は、故意に無関係なプロンプトや、指示的に"良い"プロンプトのように病的な誤解を招く多くのプロンプトと同等である、ということが分かりました。 さらに、モデル性能は、LM対象語(例えば、a.a.)の選択に依存することが判明した。 lm語彙の予測をクラスラベルに変換する"verbalizer"は、プロンプト自体のテキストよりも多い。 まとめると、既存のプロンプトベースのモデルが与えられたプロンプトの意味を真に理解していることを示す証拠はほとんど見つからない。

関連論文リスト

• Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models [54.272894325370956]
  本稿では,LMのように誘導できる最初の検索モデルであるPromptrieverを紹介する。 Promptrieverは、標準的な検索タスクで高いパフォーマンスを達成し、命令に従う。
  論文  参考訳（メタデータ） (2024-09-17T12:42:55Z)
• An Incomplete Loop: Deductive, Inductive, and Abductive Learning in Large Language Models [99.31449616860291]
  現代の言語モデル(LM)は、異なる方法で新しいタスクを実行することを学べる。 次の命令では、ターゲットタスクは自然言語で明示的に記述され、少数ショットプロンプトでは、タスクは暗黙的に指定される。 命令推論では、LMはインコンテキストの例を示し、自然言語のタスク記述を生成するように促される。
  論文  参考訳（メタデータ） (2024-04-03T19:31:56Z)
• Effective Prompt Extraction from Language Models [70.00099540536382]
  本稿では,迅速な抽出攻撃の有効性を評価するための枠組みを提案する。 3つの異なるプロンプトと11の基盤となる大規模言語モデルによる実験では、単純なテキストベースの攻撃は、実際に高い確率でプロンプトを明らかにすることができる。 本フレームワークは,抽出したプロンプトがモデル幻覚ではなく実際の秘密プロンプトであるか否かを高精度に判定する。
  論文  参考訳（メタデータ） (2023-07-13T16:15:08Z)
• TreePrompt: Learning to Compose Tree Prompts for Explainable Visual Grounding [17.9785504685384]
  本稿では,ツリープロンプトと呼ばれる説明可能な機能を備えた新しいプロンプト構築パラダイムを提案する。 具体的には、まず複雑な文を木に分解し、それは人間の推論と一致する。 このステップバイステップのプロンプト構築プロセスのおかげで、各中間プロンプト(つまりツリーノード)は推論プロセスを理解することができる。
  論文  参考訳（メタデータ） (2023-05-19T07:52:22Z)
• Can discrete information extraction prompts generalize across language models? [36.85568212975316]
  自動誘導型プロンプトをアウト・オブ・ザ・ボックス(out-of-the-box)として使用して,他の言語モデルに対して同じ情報を求めることができるかを検討する。 学習時に言語モデルを混合することでプロンプトを誘導する手法を導入し、モデル間でよく一般化するプロンプトを導出する。
  論文  参考訳（メタデータ） (2023-02-20T09:56:51Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• Extensible Prompts for Language Models on Zero-shot Language Style Customization [89.1622516945109]
  X-Promptは、自然言語(NL)を超えた大きな言語モデル(LLM)を指示する 新しい想像的単語を登録することで、LLMにNL単語で記述するのが難しい概念を理解するよう指示することができる。 これらの虚構語は、様々なプロンプトでNL語のように(再)使用できるように、分布外頑健であるように設計されている。
  論文  参考訳（メタデータ） (2022-12-01T16:11:56Z)
• Do Prompts Solve NLP Tasks Using Natural Language? [18.611748762251494]
  本研究では,この3種類のプロンプトを,数ショットと全教師付き設定の両方で実証的に比較する。 実験の結果,スキーマプロンプトは一般に最も有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-02T07:20:59Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)
• Learning How to Ask: Querying LMs with Mixtures of Soft Prompts [33.43689407735244]
  自然言語プロンプトは、最近、事前訓練された言語モデルを他のaiタスクを実行するために使用される。 勾配降下による学習促進の考え方を探求する。 それぞれのタスクに対して、プロンプトの混合を最適化し、どのプロンプトが最も効果的か、それらをアサンブルするかを学ぶ。
  論文  参考訳（メタデータ） (2021-04-14T02:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。