論文の概要: A Similarity Paradigm Through Textual Regularization Without Forgetting

• arxiv url: http://arxiv.org/abs/2502.14376v1
• Date: Thu, 20 Feb 2025 09:06:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:37.430202
• Title: A Similarity Paradigm Through Textual Regularization Without Forgetting
• Title（参考訳）: テクスチャ正規化による類似性パラダイム
• Authors: Fangming Cui, Jan Fong, Rongfei Zeng, Xinmei Tian, Jun Yu,
• Abstract要約: テキスト正規化による類似パラダイム(SPTR)と呼ばれる新しい手法を提案する。 SPTRは、手作りのプロンプトに基づく、分離不能なフレームワークである。 11のデータセットにまたがる4つの代表的なタスクは、SPTRが既存のプロンプト学習方法より優れていることを示している。
• 参考スコア（独自算出の注目度）: 17.251684463032433
• License:
• Abstract: Prompt learning has emerged as a promising method for adapting pre-trained visual-language models (VLMs) to a range of downstream tasks. While optimizing the context can be effective for improving performance on specific tasks, it can often lead to poor generalization performance on unseen classes or datasets sampled from different distributions. It may be attributed to the fact that textual prompts tend to overfit downstream data distributions, leading to the forgetting of generalized knowledge derived from hand-crafted prompts. In this paper, we propose a novel method called Similarity Paradigm with Textual Regularization (SPTR) for prompt learning without forgetting. SPTR is a two-pronged design based on hand-crafted prompts that is an inseparable framework. 1) To avoid forgetting general textual knowledge, we introduce the optimal transport as a textual regularization to finely ensure approximation with hand-crafted features and tuning textual features. 2) In order to continuously unleash the general ability of multiple hand-crafted prompts, we propose a similarity paradigm for natural alignment score and adversarial alignment score to improve model robustness for generalization. Both modules share a common objective in addressing generalization issues, aiming to maximize the generalization capability derived from multiple hand-crafted prompts. Four representative tasks (i.e., non-generalization few-shot learning, base-to-novel generalization, cross-dataset generalization, domain generalization) across 11 datasets demonstrate that SPTR outperforms existing prompt learning methods.
• Abstract（参考訳）: プロンプト学習は、訓練済みの視覚言語モデル(VLM)を下流タスクに適応するための有望な方法として登場した。 コンテキストを最適化することは、特定のタスクのパフォーマンスを改善するのに効果的であるが、しばしば、目に見えないクラスや異なるディストリビューションからサンプリングされたデータセット上での一般化性能の低下につながる。 これは、テキストのプロンプトが下流のデータ分布に過度に適合する傾向にあり、手作りのプロンプトに由来する一般化された知識を忘れてしまうことに起因しているかもしれない。 本稿では,テキスト正規化による類似パラダイム(SPTR)と呼ばれる新しい手法を提案する。 SPTRは、手作りのプロンプトに基づく、分離不能なフレームワークである。 1) 一般的なテキスト知識を忘れないように,手作り特徴との近似を微調整し,テキスト特徴をチューニングするために,テキスト正規化として最適なトランスポートを導入する。 2) 複数の手作りプロンプトの一般性を継続的に解き放つために,自然なアライメントスコアと逆アライメントスコアの類似性パラダイムを提案する。 どちらのモジュールも、複数の手作りプロンプトから導かれる一般化能力を最大化することを目的として、一般化問題に対処する共通の目的を共有している。 11個のデータセットにまたがる4つの代表的なタスク(非一般化数ショット学習、ベース・ツー・ノーベル一般化、クロスデータセット一般化、ドメイン一般化)は、SPTRが既存のプロンプト学習方法より優れていることを示している。

関連論文リスト

• Generalizable Prompt Tuning for Vision-Language Models [3.1008306011364644]
  学習可能なソフトプロンプトは下流のタスクではよく機能するが、一般化性に欠ける。 本研究は,ソフトプロンプトと手作りプロンプトをテキストモダリティの2つのビューとして扱うことで,タスク固有および一般的な意味情報をよりうまくまとめることができることを示した。 より表現力のあるプロンプトを生成するために、視覚的モダリティからのクラスワイド増強を導入し、より広い範囲の未確認クラスに対して大きなロバスト性をもたらす。
  論文  参考訳（メタデータ） (2024-10-04T07:02:13Z)
• IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
  IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。 IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
  論文  参考訳（メタデータ） (2024-06-19T16:37:31Z)
• Text-driven Prompt Generation for Vision-Language Models in Federated Learning [24.005620820818756]
  FedTPG(Federated Text-Driven Prompt Generation)を提案する。 FedTPGは、複数のリモートクライアントにまたがる統一的なプロンプト生成ネットワークをスケーラブルに学習する。 9つの多様な画像分類データセットを総合的に評価した結果,既存のフェデレーション・プロンプト・ラーニング・手法よりも優れた手法であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T19:57:24Z)
• DPL: Decoupled Prompt Learning for Vision-Language Models [41.90997623029582]
  本稿では,この問題を緩和するために,学習者の注意を再構築する新しい手法,Decoupled Prompt Learningを提案する。 我々のアプローチは、視覚的・テキスト的モダリティの両方に柔軟であり、マルチモーダル・プロンプト・ラーニングに容易に拡張できる。
  論文  参考訳（メタデータ） (2023-08-19T15:48:38Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Learning Domain Invariant Prompt for Vision-Language Models [31.581652862478965]
  本稿では,メタプロンプト(MetaPrompt)と呼ばれる未確認領域に一般化可能な,固有領域不変プロンプトを直接生成する新しいプロンプト学習パラダイムを提案する。 我々の手法は既存の手法より一貫して大幅に優れています。
  論文  参考訳（メタデータ） (2022-12-08T11:23:24Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
  ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
  論文  参考訳（メタデータ） (2022-10-03T17:56:35Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。