論文の概要: Semantic Library Adaptation: LoRA Retrieval and Fusion for Open-Vocabulary Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2503.21780v1
• Date: Thu, 27 Mar 2025 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:52:12.196913
• Title: Semantic Library Adaptation: LoRA Retrieval and Fusion for Open-Vocabulary Semantic Segmentation
• Title（参考訳）: Semantic Library Adaptation: LoRA Retrieval and Fusion for Open-Vocabulary Semantic Segmentation
• Authors: Reza Qorbani, Gianluca Villani, Theodoros Panagiotakopoulos, Marc Botet Colomer, Linus Härenstam-Nielsen, Mattia Segu, Pier Luigi Dovesi, Jussi Karlgren, Daniel Cremers, Federico Tombari, Matteo Poggi,
• Abstract要約: オープン語彙セマンティックセグメンテーションモデルは、視覚とテキストを関連付け、テキストクエリを使用して未定義のクラスの集合からピクセルをラベル付けする。 本稿では,セマンティックライブラリ適応(Semantic Library Adaptation, SemLA)を紹介する。
• 参考スコア（独自算出の注目度）: 72.28364940168092
• License:
• Abstract: Open-vocabulary semantic segmentation models associate vision and text to label pixels from an undefined set of classes using textual queries, providing versatile performance on novel datasets. However, large shifts between training and test domains degrade their performance, requiring fine-tuning for effective real-world applications. We introduce Semantic Library Adaptation (SemLA), a novel framework for training-free, test-time domain adaptation. SemLA leverages a library of LoRA-based adapters indexed with CLIP embeddings, dynamically merging the most relevant adapters based on proximity to the target domain in the embedding space. This approach constructs an ad-hoc model tailored to each specific input without additional training. Our method scales efficiently, enhances explainability by tracking adapter contributions, and inherently protects data privacy, making it ideal for sensitive applications. Comprehensive experiments on a 20-domain benchmark built over 10 standard datasets demonstrate SemLA's superior adaptability and performance across diverse settings, establishing a new standard in domain adaptation for open-vocabulary semantic segmentation.
• Abstract（参考訳）: オープン語彙セマンティックセグメンテーションモデルは、視覚とテキストを関連付け、テキストクエリを使用して定義されていないクラスの集合からピクセルをラベル付けし、新しいデータセット上で汎用的なパフォーマンスを提供する。 しかし、トレーニングとテストドメインの間の大きなシフトはパフォーマンスを低下させ、効果的な実世界のアプリケーションに微調整を必要とする。 本稿では,セマンティックライブラリ適応(Semantic Library Adaptation, SemLA)を紹介する。 SemLAは、CLIP埋め込みをインデックス化したLoRAベースのアダプタのライブラリを活用し、埋め込み空間内のターゲットドメインに近接して、最も関連するアダプタを動的にマージする。 このアプローチは、追加のトレーニングなしで個々の入力に合わせて調整されたアドホックモデルを構築する。 提案手法は効率よくスケールし,アダプタのコントリビューションをトラッキングすることで説明可能性を高め,データプライバシを本質的に保護し,センシティブなアプリケーションに最適である。 10の標準データセット上に構築された20ドメインベンチマークに関する総合的な実験は、さまざまな設定にまたがってSemLAの優れた適応性とパフォーマンスを示し、オープン語彙セマンティックセマンティックセグメンテーションのためのドメイン適応の新しい標準を確立している。

関連論文リスト

• VLMs meet UDA: Boosting Transferability of Open Vocabulary Segmentation with Unsupervised Domain Adaptation [3.776249047528669]
  本稿では、ビジョンランゲージ推論と教師なしドメイン適応(UDA)の鍵戦略を統合することにより、多様なドメイン間のセグメンテーション精度を向上させることを提案する。 提案したFROVSS(Foundational-Retaining Open Vocabulary)フレームワークにおいて,VLMの細粒度セグメンテーション機能の改善を,マルチスケールのコンテキストデータ,即時拡張による堅牢なテキスト埋め込み,レイヤワイズ微調整により実現した。 結果として生じるUDA-FROVフレームワークは、共有カテゴリを必要とせずにドメイン間で効果的に適応する最初のUDAアプローチである。
  論文  参考訳（メタデータ） (2024-12-12T12:49:42Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• CLIPArTT: Adaptation of CLIP to New Domains at Test Time [19.0284321951354]
  CLIP Adaptation duRing Test-Time(CLIPArTT)を導入する。これは、事前学習された視覚言語モデル(VLM)に対する完全なテスト時間適応(TTA)アプローチである。 提案手法では,複数の予測クラスを1つの新しいテキストプロンプトに集約し,入力を再分類するためにemphpseudoラベルとして使用する,ユニークで最小限の侵襲的なテキストプロンプトチューニング処理を採用している。 以上の結果から,新たなトランスフォーメーションやトレーニング可能なモジュールを必要とせずに,CLIPArTTは非破損データセット間で動的にパフォーマンスを向上することがわかった。
  論文  参考訳（メタデータ） (2024-05-01T07:24:30Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
  対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。 不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。 の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
  論文  参考訳（メタデータ） (2023-07-21T14:37:17Z)
• AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
  事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。 解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。 本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
  論文  参考訳（メタデータ） (2023-02-14T13:09:23Z)
• Unsupervised Contrastive Domain Adaptation for Semantic Segmentation [75.37470873764855]
  クロスドメイン適応における特徴アライメントのためのコントラスト学習を導入する。 提案手法は、ドメイン適応のための最先端手法を一貫して上回る。 Cityscapesデータセットで60.2% mIoUを達成した。
  論文  参考訳（メタデータ） (2022-04-18T16:50:46Z)
• Adapting Segmentation Networks to New Domains by Disentangling Latent Representations [14.050836886292869]
  ドメイン適応アプローチは、ラベルを持つソースドメインから取得した知識を関連するラベルを持つターゲットドメインに転送する役割を担っている。 本稿では,教師付きトレーニングと比較して適応戦略の相対的有効性を捉えるための新しい性能指標を提案する。
  論文  参考訳（メタデータ） (2021-08-06T09:43:07Z)
• Semi-Supervised Domain Adaptation via Adaptive and Progressive Feature Alignment [32.77436219094282]
  SSDASはラベル付きターゲットサンプルを、ラベル付きソースサンプルとラベルなしターゲットサンプルの間に適応的かつプログレッシブな特徴アライメントのためのアンカーとして採用している。 さらに、反復学習過程において、異種音源の特徴を高信頼目標特徴に置き換える。 広範な実験により、提案されたSSDASは、多くのベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2021-06-05T09:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。