論文の概要: PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts

• arxiv url: http://arxiv.org/abs/2112.08348v1
• Date: Wed, 15 Dec 2021 18:55:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 14:43:47.815758
• Title: PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts
• Title（参考訳）: 迅速指向性:連続的プロンプトの離散的解釈の奇妙なケース
• Authors: Daniel Khashabi, Shane Lyu, Sewon Min, Lianhui Qin, Kyle Richardson, Sameer Singh, Sean Welleck, Hannaneh Hajishirzi, Tushar Khot, Ashish Sabharwal, Yejin Choi
• Abstract要約: 目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
• 参考スコア（独自算出の注目度）: 99.03864962014431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning continuous prompts for target tasks has recently emerged as a compact alternative to full model fine-tuning. Motivated by these promising results, we investigate the feasibility of extracting a discrete (textual) interpretation of continuous prompts that is faithful to the problem they solve. In practice, we observe a "wayward" behavior between the task solved by continuous prompts and their nearest neighbor discrete projections: We can find continuous prompts that solve a task while being projected to an arbitrary text (e.g., definition of a different or even a contradictory task), while being within a very small (2%) margin of the best continuous prompt of the same size for the task. We provide intuitions behind this odd and surprising behavior, as well as extensive empirical analyses quantifying the effect of various parameters. For instance, for larger model sizes we observe higher waywardness, i.e, we can find prompts that more closely map to any arbitrary text with a smaller drop in accuracy. These findings have important implications relating to the difficulty of faithfully interpreting continuous prompts and their generalization across models and tasks, providing guidance for future progress in prompting language models.
• Abstract（参考訳）: 対象タスクの微調整連続プロンプトは、最近フルモデル微調整のコンパクトな代替として登場した。 これらの有望な結果に触発され、我々はそれらが解決する問題に忠実な連続的プロンプトの離散的(テキスト的)解釈を抽出する可能性を検討する。 実際には、連続的プロンプトによって解決されたタスクと、近隣の離散的プロンプトの間の「途中」の挙動を観察する: 任意のテキスト(例えば、異なるタスクや矛盾するタスクの定義)に投影されている間、タスクを解く連続的プロンプトを見つけることができ、タスクの同じサイズの最高の連続的プロンプトの非常に小さな(2%)マージン以内にいる。 この奇異で驚くべき行動の背後にある直感や、様々なパラメータの効果を定量化する広範な経験的分析を提供する。 例えば、より大きなモデルサイズの場合、より高い進路性、すなわち、より精度の低い任意のテキストにより密にマッピングするプロンプトを見つけることができる。 これらの発見は、継続的なプロンプトを忠実に解釈することの難しさと、モデルとタスク間の一般化に関する重要な意味を持ち、言語モデルを推進するための将来の進歩のためのガイダンスを提供する。

関連論文リスト

• Eliciting Textual Descriptions from Representations of Continuous Prompts [11.489611613744724]
  本稿では,モデル推論における表現からテキスト記述を抽出する連続的プロンプトの解釈手法を提案する。 本稿では,タスク性能が向上するにつれて,タスク記述の正確さが向上することを示す。 InSPEcTは、望ましくないプロパティを継続的なプロンプトでデバッグし、開発者がそれを緩和する方法を通知するために利用することができる。
  論文  参考訳（メタデータ） (2024-10-15T14:46:11Z)
• Semantic Prompting with Image-Token for Continual Learning [7.5140668729696145]
  I-Promptはタスク予測を排除するためのタスクに依存しないアプローチである。 提案手法は,4つのベンチマーク上での競合性能を実現する。 様々なシナリオにまたがって,提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2024-03-18T07:43:14Z)
• Continuous Prompt Generation from Linear Combination of Discrete Prompt Embeddings [0.0]
  本稿では、離散的なプロンプト埋め込みによる連続的プロンプト構築手法を提案し、連続的プロンプト解釈可能性および推論精度の向上を評価する。 手動で設計した離散プロンプトのセット $mathcalD$ に対して、各プロンプトをテンソル形式にトークン化し埋め込み、これらのプロンプトの線形結合が自然言語理解タスクのより高いパフォーマンスに対応するような重みを予測できるようにモデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-16T05:02:06Z)
• Topic-DPR: Topic-based Prompts for Dense Passage Retrieval [6.265789210037749]
  トピックベースのプロンプトを用いた高密度経路探索モデルであるTopic-DPRを提案する。 本稿では, 半構造化データを利用して高密度検索効率を向上させる, 新規な正負サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-10T13:45:24Z)
• Zero-Shot Continuous Prompt Transfer: Generalizing Task Semantics Across Language Models [24.114485240965383]
  提案手法は,ソースプロンプトを相対空間に符号化し,対応するターゲットプロンプトを探索して対象モデルに転送するゼロショット連続プロンプト転送手法である。 実験により提案手法の有効性を確認し, 連続的プロンプトにおける「タスク意味論」が様々な言語モデルにまたがって一般化可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-02T23:12:21Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Pareto Probing: Trading Off Accuracy for Complexity [87.09294772742737]
  我々は,プローブの複雑性と性能の基本的なトレードオフを反映したプローブ計量について論じる。 係り受け解析による実験により,文脈表現と非文脈表現の統語的知識の幅広いギャップが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-05T17:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。