論文の概要: Learning Optimal Prompt Ensemble for Multi-source Visual Prompt Transfer

• arxiv url: http://arxiv.org/abs/2504.12311v1
• Date: Wed, 09 Apr 2025 08:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-20 05:05:34.044091
• Title: Learning Optimal Prompt Ensemble for Multi-source Visual Prompt Transfer
• Title（参考訳）: マルチソースビジュアルプロンプト転送のための最適プロンプトアンサンブルの学習
• Authors: Enming Zhang, Liwen Cao, Yanru Wu, Zijie Zhao, Guan Wang, Yang Li,
• Abstract要約: マルチソースプロンプト転送のための適応フレームワークであるHGPromptを提案する。 まず,情報理論による特徴の伝達性の評価手法を提案する。 そこで我々は,プロンプト間の勾配衝突を軽減するために,新しい勾配アライメント正規化を提案する。
• 参考スコア（独自算出の注目度）: 4.049440188736923
• License:
• Abstract: Prompt tuning has emerged as a lightweight adaptation strategy for adapting foundation models to downstream tasks, particularly in resource-constrained systems. As pre-trained prompts have become valuable intellectual assets, combining multiple source prompts offers a promising approach to enhance generalization to new tasks by leveraging complementary knowledge from diverse sources. However, naive aggregation of these prompts often leads to representation collapse due to mutual interference, undermining their collective potential. To address these challenges, we propose HGPrompt, an adaptive framework for multi-source prompt transfer that learns optimal ensemble weights by jointly optimizing dual objectives: transferability and stability. Specifically, we first introduce an information-theoretic metric to evaluate the transferability of prompt-induced features on the target task, capturing the intrinsic alignment between the feature representations. Additionally, we propose a novel Gradient Alignment Regularization to mitigate gradient conflicts among prompts, enabling stable and coherent knowledge transfer from multiple sources while suppressing interference. Extensive experiments on the large-scale VTAB benchmark demonstrate that HGPrompt achieves state-of-the-art performance, validating its effectiveness in multi-source prompt transfer.
• Abstract（参考訳）: プロンプトチューニングは、特に資源制約のあるシステムにおいて、下流タスクに基礎モデルを適用するための軽量な適応戦略として登場した。 事前訓練されたプロンプトが貴重な知的資産となり、複数のソースプロンプトを組み合わせることで、様々なソースからの補完的知識を活用することで、新しいタスクへの一般化を促進するための有望なアプローチを提供する。 しかしながら、これらのプロンプトの単純な集約は、しばしば相互干渉による表現の崩壊を招き、それらの集団的ポテンシャルを損なう。 これらの課題に対処するために、HGPromptを提案する。HGPromptは、トランスファービリティと安定性という2つの目的を共同で最適化することで、最適なアンサンブルウェイトを学習するマルチソースプロンプトトランスファーのための適応フレームワークである。 具体的には、まず、目的タスクにおけるプロンプト誘発特徴の伝達可能性を評価するための情報理論メトリクスを導入し、特徴表現間の本質的なアライメントをキャプチャする。 さらに,複数ソースからの安定かつ一貫性のある知識伝達を可能にするとともに,干渉を抑えながら,各プロンプト間の勾配衝突を緩和するグラディエントアライメント正規化を提案する。 大規模VTABベンチマークの大規模な実験により、HGPromptは最先端の性能を達成し、マルチソースのプロンプト転送の有効性を検証した。

関連論文リスト

• Towards bandit-based prompt-tuning for in-the-wild foundation agents [2.6731152954002924]
  本稿では,タスク性能を向上させるための推論時間帯域幅に基づくプロンプトチューニングフレームワークを提案する。 実験の結果,バンディットに基づくプロンプトチューニングによる性能向上だけでなく,サンプルの複雑さ,拡張性,空間探索の迅速化などが示唆された。
  論文  参考訳（メタデータ） (2025-02-10T11:20:10Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• Unity in Diversity: Multi-expert Knowledge Confrontation and Collaboration for Generalizable Vehicle Re-identification [60.20318058777603]
  一般化可能な車両再識別(ReID)は、微調整や再訓練を必要とせず、未知のターゲットドメインに適応可能なモデルの開発を目指している。 これまでの研究は主に、ソースドメイン間のデータ分散を調整することで、ドメイン不変の機能の抽出に重点を置いてきた。 そこで本研究では,この問題を解決するために,2段階のMulti-expert Knowledge Confrontation and Collaboration(MiKeCoCo)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T04:06:39Z)
• RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
  ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。 学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。 クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
  論文  参考訳（メタデータ） (2024-03-10T08:52:48Z)
• Bayesian Multi-Task Transfer Learning for Soft Prompt Tuning [44.43258626098661]
  我々は、ソースタスクからトレーニングソースプロンプトを介して知識を抽出する場合、ソースタスク間の相関を考慮し、ターゲットタスクへのより良い転送を行う必要があると論じる。 本稿では,ソースタスク間のプロンプトの後方分布を扱うベイズ的手法を提案する。 ベイジアンマルチタスク変換学習手法は,多くの環境において最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-13T16:57:02Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• One-stage Modality Distillation for Incomplete Multimodal Learning [7.791488931628906]
  本稿では,特権的知識伝達とモダリティ情報融合を一体化する一段階のモダリティ蒸留フレームワークを提案する。 提案手法は,各シーンにおける不完全なモダリティ入力の問題を克服し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-15T07:12:27Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。