論文の概要: Black-Box Continual Learning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.22999v1
• Date: Mon, 22 Jun 2026 08:14:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 21:23:28.066844
• Title: Black-Box Continual Learning for Vision-Language Models
• Title（参考訳）: 視覚言語モデルのためのブラックボックス連続学習
• Authors: Yuting Li, Weihang Fang, Haoyuan Gao, Linghe Kong, Yexin Li, Lichao Sun, Weiran Huang,
• Abstract要約: 継続的学習のためのより現実的なベンチマークであるBlack-CLを紹介します。 Black-CLは、重量とアーキテクチャのアクセシビリティ、制約された計算、タスクに依存しない推論の3つの主要な現実的課題を実行する。 本設定では,テキストプロトタイプを最適化するだけでCLの複雑さをナビゲートできるという重要な知見に基づいて構築された,シンプルで効果的なベースラインであるBETAを提案する。
• 参考スコア（独自算出の注目度）: 36.35747221992653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid deployment of Vision-Language Models (VLMs) in dynamic environments necessitates the ability to learn continuously without forgetting. However, traditional continual learning (CL) settings often rely on white-box paradigms, which is increasingly invalidated by the shift toward cloud-hosted models. In this paper, we introduce Black-CL, a more realistic benchmark for VLMs that enforces three primary real-world challenges: weight and architecture inaccessibility, constrained computation, and task-agnostic inference. The learner can query only output embeddings or logits, with no gradient flow through or structural modification of the backbone. Current CL methodologies, which rely on backbone backpropagation or complex parameter expansion, are fundamentally incompatible with these constraints. Under this setting, we propose BETA, a simple yet effective baseline built on the key insight that solely optimizing textual prototypes can navigate the complexities of CL. BETA integrates three core components: Semantic Projection Accumulation (SPA) for incremental knowledge acquisition, Latent Distribution Replay (LDR) for anchoring the embedding space against catastrophic forgetting, and Test-Time Prototype Adaptation (TTPA) for dynamic, instance-aware boundary refinement. Extensive experiments across ten diverse datasets and various backbones demonstrate that BETA significantly outperforms existing black-box tuners. Remarkably, with only 0.05 M trainable parameters, a 180--3000$\times$ reduction compared to competitive methods, BETA achieves performance on par with or even exceeding white-box CL methods. We believe Black-CL and BETA provide a foundational framework for future advancements in continual learning and accelerates the transition of continual learning from academia to real-world systems.
• Abstract（参考訳）: 動的環境における視覚言語モデル(VLM)の迅速な展開は、忘れずに継続的に学習する能力を必要とする。 しかしながら、従来の継続学習(CL)設定は、しばしばホワイトボックスのパラダイムに依存しており、クラウドホストモデルへの移行によって、ますます無効化されている。 本稿では,重みとアーキテクチャのアクセシビリティ,制約計算,タスクに依存しない推論という,3つの主要な現実的課題を強制する,より現実的なVLMベンチマークであるBlack-CLを紹介する。 学習者は出力の埋め込みやログのみを問い合わせることができ、バックボーンの勾配フローや構造的な変更は行わない。 バックボーンのバックプロパゲーションや複雑なパラメータ展開に依存する現在のCL方法論は、これらの制約とは根本的に相容れない。 本設定では,テキストプロトタイプを最適化するだけでCLの複雑さをナビゲートできるという重要な知見に基づいて構築された,シンプルで効果的なベースラインであるBETAを提案する。 BETAは、インクリメンタルな知識獲得のためのSPA(Semantic Projection Accumulation)、破滅的な忘れ込みに対して埋め込みスペースを固定するためのLDR(Latent Distribution Replay)、動的でインスタンス対応境界修正のためのTTPA(Test-Time Prototype Adaptation)の3つのコアコンポーネントを統合している。 10の多様なデータセットと様々なバックボーンにわたる大規模な実験は、BETAが既存のブラックボックスチューナーよりも大幅に優れていることを示した。 注目すべきは、たった0.05Mのトレーニング可能なパラメータで、競合する手法に比べて180-3000$\times$の削減で、BETAはホワイトボックスのCLメソッドと同等かそれ以上のパフォーマンスを達成することである。 我々は,Black-CLとBETAが,継続学習の今後の進歩の基盤となるフレームワークであり,学術から実世界のシステムへの継続的な学習の移行を加速させると考えている。

関連論文リスト

• HIFICL: High-Fidelity In-Context Learning for Multimodal Tasks [6.981025167004503]
  我々は、ICLメカニズムをより忠実にモデル化するために、HIFICL(High-Fidelity In-Context Learning)を導入する。 HIFICLは,1)学習可能なコンテキストとして機能する"仮想キーと値のペア"のセット,2)安定かつ規則化されたトレーニングのための低ランク因数分解,3)単純なエンドツーエンドトレーニングの3つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2026-03-13T08:03:35Z)
• LLMBoost: Make Large Language Models Stronger with Boosting [45.63712975323876]
  LLMBoostは,LLMのアンサンブル学習のための,新しいアンサンブル微調整フレームワークである。 LLMBoostは、強化パラダイムにヒントを得て、3つの重要なイノベーションを取り入れている。第一に、後継モデルが前任者から隠れた状態にアクセスし、融合することを可能にする、クロスモデルアテンションメカニズムである。 第二に、チェーントレーニングのパラダイムは、徐々に微調整されたモデルとエラー抑制の目標を結び、各モデルが前者の誤予測を正すようにしている。 第三に、ほぼ並列な推論のパラダイム設計パイプラインは、モデル層を層ごとに覆い隠された状態を設計し、単一のモデルデコーディングに近づく推論効率を達成する。
  論文  参考訳（メタデータ） (2025-12-26T07:16:41Z)
• BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning [84.56022893225422]
  CIL(Class-Incremental Learning)は,従来の知識を忘れずに,新たなカテゴリを継続的に学習することを目的としている。 CLIP から CIL への視覚言語モデルの適用には,次の2つの大きな課題がある。(1) 下流タスクへの適応には,新たな学習可能なモジュールを必要とする場合が多いこと,2) モデル複雑性の増大と忘れやすいこと,2) マルチモーダル表現は相補的な長所を提供する一方で,既存の手法では,視覚的およびテキスト的モダリティを効果的に統合する可能性を完全には実現できていない。
  論文  参考訳（メタデータ） (2025-11-14T15:51:40Z)
• EasySteer: A Unified Framework for High-Performance and Extensible LLM Steering [55.56674028743782]
  大規模言語モデル(LLM)のステアリングは、推論時にモデル動作を制御するための有望なパラダイムとして登場した。 我々は,vLLM上に構築された高性能LLMステアリングのための統合フレームワークであるEasySteerを提案する。
  論文  参考訳（メタデータ） (2025-09-29T17:59:07Z)
• Scale, Don't Fine-tune: Guiding Multimodal LLMs for Efficient Visual Place Recognition at Test-Time [12.659582318581606]
  Vision Foundation Models (VFM) や Multimodal Large Language Models (MLLM) といった現在のアプローチでは意味理解が強化されているが、微調整時に高い計算オーバーヘッドと限られたクロスドメイン転送性に悩まされている。 本稿では,直接類似度スコアリングのためのガイダンスベースの手法を用いて,視覚言語アライメント機能を活用したテスト時間スケーリング(TTS)を用いた新しいフレームワークを提案する。 提案手法では,長さ制御可能なスコアアウトプットを生成する構造的プロンプトを用いることで,2段階処理を除去する。
  論文  参考訳（メタデータ） (2025-09-02T09:25:13Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Improve Multi-Modal Embedding Learning via Explicit Hard Negative Gradient Amplifying [7.9925771591348065]
  コアコントラスト学習パラダイムは、CLIPスタイルのモデルからMLLMに大きく変化しない。 本研究では,クエリ,正,負のサンプルに対する情報NCE損失の勾配を詳細に解析する。 そこで本研究では, 強陰性サンプルに関連する勾配を明示的に増幅し, より識別的な埋め込みの学習を促すことを提案する。
  論文  参考訳（メタデータ） (2025-05-28T11:18:19Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。