論文の概要: Prompt Diffusion Robustifies Any-Modality Prompt Learning
- arxiv url: http://arxiv.org/abs/2410.20164v1
- Date: Sat, 26 Oct 2024 12:36:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:16:17.908244
- Title: Prompt Diffusion Robustifies Any-Modality Prompt Learning
- Title（参考訳）: Prompt Diffusionは、任意のモダリティなPrompt学習をロバスト化する
- Authors: Yingjun Du, Gaowen Liu, Yuzhang Shang, Yuguang Yao, Ramana Kompella, Cees G. M. Snoek,
- Abstract要約: 本稿では,各試料にカスタマイズされたプロンプトを得るために,拡散モデルを用いてプロンプトを徐々に洗練するプロンプト拡散法を提案する。
試験されたすべての素早い学習方法に対して、迅速な拡散を加えることで、15の多様なデータセットでテストされた分類タスクにおいて、ベース・ツー・ニューな一般化、クロスデータセットの一般化、ドメインの一般化のためのより堅牢な結果が得られる。
- 参考スコア（独自算出の注目度）: 43.35989471544046
- License:
- Abstract: Foundation models enable prompt-based classifiers for zero-shot and few-shot learning. Nonetheless, the conventional method of employing fixed prompts suffers from distributional shifts that negatively impact generalizability to unseen samples. This paper introduces prompt diffusion, which uses a diffusion model to gradually refine the prompts to obtain a customized prompt for each sample. Specifically, we first optimize a collection of prompts to obtain over-fitted prompts per sample. Then, we propose a prompt diffusion model within the prompt space, enabling the training of a generative transition process from a random prompt to its overfitted prompt. As we cannot access the label of a test image during inference, our model gradually generates customized prompts solely from random prompts using our trained, prompt diffusion. Our prompt diffusion is generic, flexible, and modality-agnostic, making it a simple plug-and-play module seamlessly embedded into existing prompt learning methods for textual, visual, or multi-modal prompt learning. Our diffusion model uses a fast ODE-based sampling strategy to optimize test sample prompts in just five steps, offering a good trade-off between performance improvement and computational efficiency. For all prompt learning methods tested, adding prompt diffusion yields more robust results for base-to-new generalization, cross-dataset generalization, and domain generalization in classification tasks tested over 15 diverse datasets.
- Abstract（参考訳）: ファウンデーションモデルは、ゼロショットおよび少数ショット学習のためのプロンプトベースの分類を可能にする。
それにもかかわらず、固定プロンプトを用いる従来の方法は、見つからないサンプルに対する一般化性に悪影響を及ぼす分布シフトに悩まされている。
本稿では,各試料にカスタマイズされたプロンプトを得るために,拡散モデルを用いてプロンプトを徐々に洗練するプロンプト拡散法を提案する。
具体的には,まず1サンプルあたりの過剰なプロンプトを得るために,プロンプトのコレクションを最適化する。
そこで我々は,プロンプト空間内のプロンプト拡散モデルを提案し,ランダムプロンプトから過度に適合したプロンプトへの生成遷移過程のトレーニングを可能にする。
推論中にテスト画像のラベルにアクセスすることができないため、トレーニング済みの迅速な拡散を用いてランダムなプロンプトからのみカスタマイズされたプロンプトを徐々に生成する。
我々の迅速な拡散は汎用的で柔軟性があり、モダリティに依存しないため、テキスト、ビジュアル、マルチモーダルなプロンプト学習のための既存のプロンプト学習手法にシームレスに組み込むシンプルなプラグイン・アンド・プレイモジュールである。
我々の拡散モデルは、高速なODEベースのサンプリング戦略を用いて、テストサンプルプロンプトをわずか5ステップで最適化し、性能改善と計算効率の良好なトレードオフを提供します。
試験されたすべての素早い学習方法に対して、迅速な拡散を加えることで、15の多様なデータセットでテストされた分類タスクにおいて、ベース・ツー・ニューな一般化、クロスデータセットの一般化、ドメインの一般化のためのより堅牢な結果が得られる。
関連論文リスト
- Any-Shift Prompting for Generalization over Distributions [66.29237565901734]
即時学習におけるトレーニングとテスト分布の関係を考察する一般的な確率的推論フレームワークである「任意のシフトプロンプト」を提案する。
このフレームワーク内では、テストプロンプトが分散関係を利用して、CLIPイメージ言語モデルのトレーニングからテストディストリビューションへの一般化を導く。
ネットワークは、トレーニング情報とテスト情報の両方をフィードフォワードパスに組み込んだ調整されたテストプロンプトを生成し、テスト時の追加のトレーニングコストを回避する。
論文 参考訳（メタデータ） (2024-02-15T16:53:42Z) - Prompting Diffusion Representations for Cross-Domain Semantic
Segmentation [101.04326113360342]
拡散事前学習は、セマンティックセグメンテーションのための並外れた領域一般化結果を達成する。
本研究では,シーンプロンプトとプロンプトランダム化戦略を導入し,セグメンテーションヘッドを訓練する際に,ドメイン不変情報をさらに混乱させる。
論文 参考訳（メタデータ） (2023-07-05T09:28:25Z) - Exploring Lottery Prompts for Pre-trained Language Models [46.66885465183664]
インスタンスレベルのプロンプトとその一般化可能性について検討する。
いずれの場合も、ほとんどの場合、PLMから正しい予測を誘導する宝くじプロンプトがある。
一部の強力な宝くじプロンプトは、トレーニングセット全体に対して高いパフォーマンスを持つ。
論文 参考訳（メタデータ） (2023-05-31T02:17:04Z) - Boosted Prompt Ensembles for Large Language Models [38.402161594793775]
チェーン・オブ・ソート・プロンプトや自己整合性といった手法は、追加のトレーニングを伴わずに、言語モデル推論のパフォーマンスのフロンティアを押し上げている。
大規模言語モデルのためのプロンプトアンサンブル手法を提案する。これは、小さなデータセットを用いて、強化されたプロンプトアンサンブルを構成する一連のショットプロンプトを構成する。」
これにより,GSM8kおよびAQuAデータセットにおいて,単一プロンプトの出力空間アンサンブルとタグ付きプロンプト空間アンサンブルより優れることを示す。
論文 参考訳（メタデータ） (2023-04-12T16:47:15Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳（メタデータ） (2022-10-05T17:05:56Z) - IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。
本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
論文 参考訳（メタデータ） (2022-04-09T15:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。