論文の概要: Learning Optimal Prompt Ensemble for Multi-source Visual Prompt Transfer

• arxiv url: http://arxiv.org/abs/2504.12311v3
• Date: Wed, 06 Aug 2025 04:03:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:08.301996
• Title: Learning Optimal Prompt Ensemble for Multi-source Visual Prompt Transfer
• Title（参考訳）: マルチソースビジュアルプロンプト転送のための最適プロンプトアンサンブルの学習
• Authors: Enming Zhang, Liwen Cao, Yanru Wu, Zijie Zhao, Yang Li,
• Abstract要約: マルチソース・プロンプト・チューニングのための最適アンサンブル重み学習フレームワークであるHGPromptを提案する。 特に、ターゲットタスクにおけるプロンプト誘発特徴の識別性をキャプチャする、識別可能なプロンプト転送可能性指標を提案する。 大規模VTABベンチマークの実験は、HGPromptの最先端性能を実証している。
• 参考スコア（独自算出の注目度）: 2.29156985632603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning has emerged as a lightweight strategy for adapting foundation models to downstream tasks, particularly for resource-constrained systems. As pre-trained prompts become valuable assets, combining multiple source prompts offers a promising approach to enhance generalization for new tasks by leveraging complementary knowledge. However, naive aggregation often overlooks different source prompts have different contribution potential to the target task. To address this, we propose HGPrompt, a dynamic framework that learns optimal ensemble weights. These weights are optimized by jointly maximizing an information-theoretic metric for transferability and minimizing gradient conflicts via a novel regularization strategy. Specifically, we propose a differentiable prompt transferability metric to captures the discriminability of prompt-induced features on the target task. Meanwhile, HGPrompt match the gradient variances with respect to different source prompts based on Hessian and Fisher Information, ensuring stable and coherent knowledge transfer while suppressing gradient conflicts among them. Extensive experiments on the large-scale VTAB benchmark demonstrate the state-of-the-art performance of HGPrompt, validating its effectiveness in learning an optimal ensemble for effective multi-source prompt transfer.
• Abstract（参考訳）: プロンプトチューニングは、特にリソース制約のあるシステムにおいて、下流タスクに基礎モデルを適用するための軽量な戦略として登場した。 事前訓練されたプロンプトが価値ある資産になるにつれて、複数のソースプロンプトを組み合わせることで、補完的な知識を活用することで、新しいタスクの一般化を促進するための有望なアプローチを提供する。 しかし、単純な集約は、異なるソースプロンプトがターゲットタスクに異なる寄与可能性を持つことをしばしば見落としている。 そこで本研究では,最適なアンサンブル重みを学習する動的フレームワークであるHGPromptを提案する。 これらの重みは、伝達可能性のための情報理論計量を共同で最大化し、新しい正規化戦略を通じて勾配競合を最小限にすることで最適化される。 具体的には、ターゲットタスク上のプロンプト誘発特徴の識別性をキャプチャする、識別可能なプロンプト転送可能性指標を提案する。 一方、HGPromptは、ヘッセンとフィッシャーの情報に基づく異なるソースプロンプトに対する勾配のばらつきに一致し、それらの間の勾配の衝突を抑えつつ、安定かつ一貫性のある知識伝達を確保する。 大規模VTABベンチマークによる大規模な実験により、HGPromptの最先端性能が実証され、効率的なマルチソースプロンプト転送のための最適なアンサンブル学習の有効性が検証された。

関連論文リスト

• Beyond Degradation Redundancy: Contrastive Prompt Learning for All-in-One Image Restoration [109.38288333994407]
  コントラスト・プロンプト・ラーニング(Contrastive Prompt Learning, CPL)は、プロンプト・タスクのアライメントを根本的に強化する新しいフレームワークである。 本フレームワークは,パラメータ効率を保ちながら,新たな最先端性能を確立し,統一画像復元のための原理的ソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-14T08:24:57Z)
• Knowledge-Aware Iterative Retrieval for Multi-Agent Systems [0.0]
  本稿では,新しい大規模言語モデル (LLM) によるエージェントフレームワークを提案する。 動的に進化する知識を活用することで、クエリを反復的に洗練し、文脈的証拠をフィルタリングする。 提案システムは、更新されたコンテキストの競合的および協調的な共有をサポートする。
  論文  参考訳（メタデータ） (2025-03-17T15:27:02Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [55.552510632228326]
  最近のPromptベースの連続学習は、事前訓練されたモデルで顕著な性能を達成した。 これらのアプローチは、学習中に新しいプロンプトセットを追加してプロンプトプールを拡張し、推論中に正しいセットを選択する。 従来,PCLの性能向上に課題を呈する課題として,タスク指向のプロンプトセットの個別化と選択精度の低さが指摘されてきた。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition [0.0]
  マルチタスクのプロンプトチューニングは、その固有のモジュラリティと、パラメータ効率のよい転送学習を向上する可能性に対して、かなりの注意を払っている。 本稿では,マルチタスク環境において,対応するプロンプト間の知識伝達を容易にすることで,複数のタスクのパフォーマンスを解析・改善することを目的とする。
  論文  参考訳（メタデータ） (2024-08-23T17:01:51Z)
• GANPrompt: Enhancing Robustness in LLM-Based Recommendations with GAN-Enhanced Diversity Prompts [15.920623515602038]
  大規模言語モデル(LLM)は、素早い単語の影響を受けやすい。 本稿では,GAN(Generative Adversarial Networks)に基づく多次元LCMの多様性フレームワークであるGANPromptを提案する。 このフレームワークは,GAN生成技術とLLMの深い意味理解機能を統合することにより,多様なプロンプトに対するモデルの適応性と安定性を向上させる。
  論文  参考訳（メタデータ） (2024-08-19T03:13:20Z)
• Unity in Diversity: Multi-expert Knowledge Confrontation and Collaboration for Generalizable Vehicle Re-identification [60.20318058777603]
  一般化可能な車両再識別(ReID)は、微調整や再訓練を必要とせず、未知のターゲットドメインに適応可能なモデルの開発を目指している。 これまでの研究は主に、ソースドメイン間のデータ分散を調整することで、ドメイン不変の機能の抽出に重点を置いてきた。 そこで本研究では,この問題を解決するために,2段階のMulti-expert Knowledge Confrontation and Collaboration(MiKeCoCo)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T04:06:39Z)
• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
  ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。 学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。 クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
  論文  参考訳（メタデータ） (2024-03-10T08:52:48Z)
• Bayesian Multi-Task Transfer Learning for Soft Prompt Tuning [44.43258626098661]
  我々は、ソースタスクからトレーニングソースプロンプトを介して知識を抽出する場合、ソースタスク間の相関を考慮し、ターゲットタスクへのより良い転送を行う必要があると論じる。 本稿では,ソースタスク間のプロンプトの後方分布を扱うベイズ的手法を提案する。 ベイジアンマルチタスク変換学習手法は,多くの環境において最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-13T16:57:02Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• One-stage Modality Distillation for Incomplete Multimodal Learning [7.791488931628906]
  本稿では,特権的知識伝達とモダリティ情報融合を一体化する一段階のモダリティ蒸留フレームワークを提案する。 提案手法は,各シーンにおける不完全なモダリティ入力の問題を克服し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-15T07:12:27Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。