論文の概要: OpenworldAUC: Towards Unified Evaluation and Optimization for Open-world Prompt Tuning

• arxiv url: http://arxiv.org/abs/2505.05180v1
• Date: Thu, 08 May 2025 12:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.874027
• Title: OpenworldAUC: Towards Unified Evaluation and Optimization for Open-world Prompt Tuning
• Title（参考訳）: OpenworldAUC: Openworld Prompt Tuningの統一評価と最適化を目指して
• Authors: Cong Hua, Qianqian Xu, Zhiyong Yang, Zitai Wang, Shilong Bao, Qingming Huang,
• Abstract要約: 現実世界のシナリオでは、事前のドメイン知識なしに入力を処理するモデルが必要です。 ペアのインスタンス比較による検出と分類を評価する指標であるOpenworldAUCを提案する。 オープンワールドシナリオにおける15のベンチマークの実験は、OpenworldAUCがOpenworldAUCや他のメトリクスでSOTAのパフォーマンスを達成することを示している。
• 参考スコア（独自算出の注目度）: 86.20909814421748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning adapts Vision-Language Models like CLIP to open-world tasks with minimal training costs. In this direction, one typical paradigm evaluates model performance separately on known classes (i.e., base domain) and unseen classes (i.e., new domain). However, real-world scenarios require models to handle inputs without prior domain knowledge. This practical challenge has spurred the development of open-world prompt tuning, which demands a unified evaluation of two stages: 1) detecting whether an input belongs to the base or new domain (P1), and 2) classifying the sample into its correct class (P2). What's more, as domain distributions are generally unknown, a proper metric should be insensitive to varying base/new sample ratios (P3). However, we find that current metrics, including HM, overall accuracy, and AUROC, fail to satisfy these three properties simultaneously. To bridge this gap, we propose OpenworldAUC, a unified metric that jointly assesses detection and classification through pairwise instance comparisons. To optimize OpenworldAUC effectively, we introduce Gated Mixture-of-Prompts (GMoP), which employs domain-specific prompts and a gating mechanism to dynamically balance detection and classification. Theoretical guarantees ensure generalization of GMoP under practical conditions. Experiments on 15 benchmarks in open-world scenarios show GMoP achieves SOTA performance on OpenworldAUC and other metrics. We release the code at https://github.com/huacong/OpenworldAUC
• Abstract（参考訳）: プロンプトチューニングは、CLIPのようなビジョンランゲージモデルを、最小のトレーニングコストで、オープンワールドタスクに適応させる。 この方向では、ある典型的なパラダイムは、既知のクラス(ベースドメイン)と見えないクラス(新しいドメイン)でモデルのパフォーマンスを別々に評価する。 しかし、現実世界のシナリオは、事前のドメイン知識なしで入力を処理するモデルを必要とします。 この実践的な課題は,2段階の統一的な評価を必要とするオープンワールド・プロンプトチューニングの開発を刺激している。 1)入力がベースまたは新しいドメインに属するか否かを検知し(P1)、 2) サンプルを正しいクラスに分類する(P2)。 さらに、一般にドメインの分布が未知であるため、適切な計量は、異なるベース/新しいサンプル比(P3)に無関心であるべきである。 しかし、HM、全体的な精度、AUROCを含む現在の指標は、これらの3つの特性を同時に満たさないことがわかった。 このギャップを埋めるために、ペアのインスタンス比較による検出と分類を共同で評価する統一されたメトリックであるOpenworldAUCを提案する。 OpenworldAUCを効果的に最適化するために、ドメイン固有のプロンプトとゲーティング機構を用いて検出と分類の動的バランスをとるGated Mixture-of-Prompts (GMoP)を導入する。 理論的保証は、実用条件下でのGMoPの一般化を保証する。 オープンワールドシナリオにおける15のベンチマークの実験は、GMoPがOpenworldAUCや他のメトリクスでSOTAのパフォーマンスを達成することを示している。 私たちはhttps://github.com/huacong/OpenworldAUCでコードを公開しています。

関連論文リスト

• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• OpenGCD: Assisting Open World Recognition with Generalized Category Discovery [4.600906853436266]
  望ましいオープンワールド認識(OWR)システムは、3つのタスクを実行する必要がある。 上記の問題を逐次解決するために,3つの鍵となるアイデアを組み合わせたOpenGCDを提案する。 2つの標準分類ベンチマークと挑戦的なデータセットの実験は、OpenGCDが優れた互換性を提供するだけでなく、他のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2023-08-14T04:10:45Z)
• Self-Paced Learning for Open-Set Domain Adaptation [50.620824701934]
  従来のドメイン適応手法は、ソースとターゲットドメインのクラスが同一であると仮定する。 オープンセットドメイン適応(OSDA)は、この制限に対処する。 そこで,本研究では,共通クラスと未知クラスを識別するための自己評価学習に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-10T14:11:09Z)
• To Adapt or to Annotate: Challenges and Interventions for Domain Adaptation in Open-Domain Question Answering [46.403929561360485]
  オープンドメイン質問応答(ODQA)のエンドツーエンドモデルの性能について検討する。 モデルが一般化に失敗するだけでなく、高い検索スコアが解答予測の精度を低下させることもしばしばある。 終末回答F1のスコアを最大24ポイント改善するいくつかの介入手法を提案し,評価する。
  論文  参考訳（メタデータ） (2022-12-20T16:06:09Z)
• Learning Classifiers of Prototypes and Reciprocal Points for Universal Domain Adaptation [79.62038105814658]
  Universal Domainは、ドメインシフトとカテゴリシフトという2つのシフトを処理して、データセット間で知識を転送することを目的としている。 主な課題は、既知のクラス知識の分布をソースからターゲットに適応させながら、未知のターゲットサンプルを正しく識別することである。 既存のほとんどの手法は、まずターゲットが適応した既知の知識を訓練し、次に未知のターゲットサンプルを識別するために単一のしきい値に依存することでこの問題に対処する。
  論文  参考訳（メタデータ） (2022-12-16T09:01:57Z)
• Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning [44.604485649167216]
  フェデレートラーニング(FL)は、複数のクライアントがデータを開示することなく、協力的にグローバルモデルをトレーニングすることを可能にする。 多領域協調画像分類のためのフェデレーション適応型プロンプトチューニングアルゴリズムであるFedAPTを提案する。
  論文  参考訳（メタデータ） (2022-11-15T03:10:05Z)
• Exploring the Open World Using Incremental Extreme Value Machines [11.3660790934494]
  オープンワールド認識は、私たちの知る限りでは、いくつかの方法によってのみ対処される、要求の多いタスクです。 この研究は、広く知られているExtreme Value Machineの修正を導入し、オープンワールドの認識を可能にした。 提案手法は,画像分類と顔認識のタスクにおいて,約12%の精度と計算効率を向上する。
  論文  参考訳（メタデータ） (2022-05-30T07:21:13Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)
• Fine-Grained Visual Classification with Efficient End-to-end Localization [49.9887676289364]
  本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。 我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
  論文  参考訳（メタデータ） (2020-05-11T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。