論文の概要: Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation

• arxiv url: http://arxiv.org/abs/2610.11067v1
• Date: Thu, 08 Oct 2026 01:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.723121
• Title: Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation
• Title（参考訳）: 一般化可能な基礎モデル適応のための拡散メタプロンピングとステアリング
• Abstract要約: Diffusion Meta-Promptモデルは、学習したプロンプトの分布をモデル化するフレームワークである。 自然言語のタスク記述に基づく新しいプロンプトを合成する。 分類、検索、テキスト・ツー・イメージ生成タスクの一般化を改善する。
• 参考スコア（独自算出の注目度）: 43.1541110338463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt learning is a popular method for adapting foundation models, but learned prompts are typically task-specific and fail to generalize to new classes, domains, or compositions of tasks. In this paper, we introduce a Diffusion Meta-Prompt (DMP) model , a framework that models the distribution of learned prompts using diffusion models. Given a repository of previously learned prompts, DMP is trained and sampled without access to the original task examples or task losses, and synthesizes new prompts conditioned on natural language task descriptions. To improve the sampling stability, we introduce a test-time steering strategy for DMP, which uses the best training-selected prompt in the repository as a latent anchor during diffusion sampling, without retraining the DMP or accessing test classes. DMP improves generalization across classification, retrieval and text-to-image generation tasks, supports concept composition and negative prompting without explicit training. It reduces storage and inference costs by over 90% compared to prompt retrieval methods. For composite classification, DMP achieves upto 2.0% average gain over prior meta-learning methods across 55 pairs of datasets with gains as high as 8.5% on specific pairs such as Eurosat and Flowers. DMP also enhances cross-task generalization with ~2-9% improvement for hierarchical classification task. We further provide a theoretical guarantee bounding the expected task loss of prompts sampled from a DMP. Code is available: https://github.com/DeepakSridhar/dmp
• Abstract（参考訳）: プロンプト学習は基礎モデルに適応するための一般的な手法であるが、学習プロンプトは一般にタスク固有であり、新しいクラス、ドメイン、タスクの構成に一般化できない。 本稿では拡散モデルを用いて学習プロンプトの分布をモデル化するフレームワークである拡散メタプロンプト(DMP)モデルを提案する。 以前に学習したプロンプトのリポジトリが与えられた後、DMPは元のタスクの例やタスクの損失にアクセスせずにトレーニングされ、サンプル化され、自然言語のタスク記述に規定された新しいプロンプトを合成する。 サンプリング安定性を向上させるため,DMPの再トレーニングやテストクラスへのアクセスを必要とせず,分散サンプリングにおいて,リポジトリ内で最高のトレーニング選択プロンプトを潜時アンカーとして利用するDMPのテストタイムステアリング戦略を導入する。 DMPは、分類、検索、テキスト・ツー・イメージ生成タスクの一般化を改善し、明示的なトレーニングなしで概念構成と負のプロンプトをサポートする。 迅速な検索方法と比較して、ストレージと推論コストを90%以上削減する。 複合分類において、DMPは55組のデータセットに対して、EurosatやFlowersのような特定のペアに対して最大8.5%のゲインを持つ以前のメタ学習手法よりも2.0%の平均ゲインを達成する。 DMPはまた、階層分類タスクの約2-9%の改善により、クロスタスクの一般化も強化する。 さらに、DMPからサンプリングされたプロンプトの期待されたタスク損失を拘束する理論的な保証を提供する。 コードは:https://github.com/DeepakSridhar/dmp

関連論文リスト

• GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer [51.31263673158136]
  GFlowPOは、メタプロンプト参照-LMにより正規化される潜在プロンプトに対する後部推論問題としてプロンプトをキャストする。 GFlowPOは、最近の離散的なプロンプト最適化ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-03T10:30:03Z)
• Bayesian Multi-Task Transfer Learning for Soft Prompt Tuning [44.43258626098661]
  我々は、ソースタスクからトレーニングソースプロンプトを介して知識を抽出する場合、ソースタスク間の相関を考慮し、ターゲットタスクへのより良い転送を行う必要があると論じる。 本稿では,ソースタスク間のプロンプトの後方分布を扱うベイズ的手法を提案する。 ベイジアンマルチタスク変換学習手法は,多くの環境において最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-13T16:57:02Z)
• Each Test Image Deserves A Specific Prompt: Continual Test-Time Adaptation for 2D Medical Image Segmentation [14.71883381837561]
  ドメイン間の分散シフトは、実世界のアプリケーションに事前訓練されたセマンティックセグメンテーションモデルをデプロイする上で重要な障害である。 テスト時間適応は、推論中にドメイン間の分布シフトに取り組むのに有効であることが証明されている。 本稿では,各テスト画像に対する特定のプロンプトをトレーニングし,バッチ正規化レイヤの統計値を調整するために,Visual Prompt-based Test-Time Adaptation (VPTTA)法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T09:03:47Z)
• Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization [40.45470744120691]
  MEta-gradient regularization for few-shot generalization (SUPMER)による自己改善メタプロンプト学習フレームワーク 本稿では,Meta-gradient regularization for few-shot generalization (SUPMER)を用いた自己改善メタプロンプト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T05:04:21Z)
• ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
  検索結果の質を向上させるために,頑健な多言語モデルを提案する。 事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。 微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
  論文  参考訳（メタデータ） (2023-01-31T07:31:34Z)
• Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning [83.10861551885321]
  本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。 MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。 我々は,MP2がプロンプトチューニング,フルモデルチューニング,事前プロンプト事前学習の手法を,数ショット設定で大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:43:42Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。