論文の概要: COMET: Decoupled Distillation, Routing, and Capacity Control for Task-Agnostic Continual Vision--Language Learning
- arxiv url: http://arxiv.org/abs/2610.22907v1
- Date: Fri, 16 Oct 2026 04:15:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.762877
- Title: COMET: Decoupled Distillation, Routing, and Capacity Control for Task-Agnostic Continual Vision--Language Learning
- Title（参考訳）: COMET:タスク非依存型連続視覚のための分離蒸留・ルーティング・容量制御-言語学習
- Abstract要約: CLIPのような視覚言語モデル(VLM)はゼロショット認識能力を維持しているが、そのオープンワールドの使用はタスクに依存しない連続学習を必要とすることが多い。
この設定は、安定性と塑性のトレードオフを超えた3つの結合圧力によってVLMを失敗させる。
本稿では,これら3つの問題を解決するためのCOMETを提案する。
- 参考スコア（独自算出の注目度）: 47.07998280744138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) such as CLIP retain zero-shot recognition ability, but their open-world use often requires task-agnostic continual learning: tasks arrive sequentially, past data are unavailable, task identity is unknown, and the backbone cannot be retrained. We argue that this setting fails VLMs through three coupled pressures beyond the stability-plasticity tradeoff: (1) modal-consistency drift, (2) representation-space interference, and (3) per-task capacity shortfall. We propose COMET (Collaborative Mixture-of-Expert Transfer) to resolve these three issues respectively as follows. A frozen teacher provides only a feature reference on a shared image-text pool; Tri-Affinity Distillation preserves image-image, text-text, and image-text geometry; and Student-Aware Cross-Expert Distillation aligns new experts with compatible prior experts so routing errors degrade gracefully. We design COMET to keep capacity and inference separate: a contextual bandit keeps or merges full per-task experts using post-training signals, while a reconstruction router selects sparse experts at test time without teacher semantics. On the X-TAIL benchmark, we show that each proposed component improves continual learning performance. COMET shows that continual vision-language adaptation can preserve multimodal geometry, coordinate accumulated experts, and allocate capacity jointly when feature reference, expert shaping, routing, and capacity control are separated by construction.
- Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は、ゼロショット認識能力を維持しているが、そのオープンワールドの使用は、タスクに依存しない連続的な学習を必要とすることが多い。
この設定は安定性と塑性のトレードオフを超えた3つの連成圧力によってVLMに失敗する:(1)モーダル一貫性ドリフト、(2)表現空間干渉、(3)タスク毎のキャパシティ不足である。
本稿では,これら3つの課題をそれぞれ解決するために,COMET(Collaborative Mixture-of-Expert Transfer)を提案する。
凍結教師は共有画像テキストプールの機能参照のみを提供し、Tri-Affinity Distillationは画像イメージ、テキストテキスト、画像テキストの幾何学を保存する。
我々は、COMETを設計して、能力と推論を分離する: コンテキスト的帯域幅は、訓練後信号を使ってタスク毎の専門家をフルに保持またはマージし、一方、再構築ルータは、教師の意味論なしでテスト時にスパース専門家を選別する。
X-TAILベンチマークでは,提案する各コンポーネントが連続学習性能を向上させることを示す。
COMETは、連続的な視覚言語適応がマルチモーダル幾何を保存し、蓄積した専門家を調整し、特徴基準、エキスパートシェーピング、ルーティング、キャパシティコントロールが構築によって分離されたときに、共同でキャパシティを割り当てることを示した。
関連論文リスト
- Uncovering Understanding-Generation Synergy in Native Unified Multimodal Models: From Representation, Task to System [90.64481646805855]
統一マルチモーダルモデル(UMM)は、単一のモデル内で視覚的理解と生成を共同で行う。
制御された、構造的にネイティブな環境で、それらの関係を表現、タスク、システムレベルで調査する。
適切な特殊化やタスク知識の共有,エンドツーエンドの最適化など,UMMの価値は統一インターフェースを超えて,共存を相乗効果に転換できることを示す。
論文 参考訳（メタデータ） (2026-09-01T17:59:59Z) - TeaMatch: Teachable Cross-Modal Representation Learning for 2D-3D Matching [3.911341147858216]
TeaMatchは、クロスモーダルな表現学習の基準として、教育性を導入する新しいフレームワークである。
私たちのフレームワークは、追加の推論コストなしで、既存の粗大なマッチングパイプラインにシームレスに統合できます。
論文 参考訳（メタデータ） (2026-08-10T13:24:01Z) - Heterogeneous and Adept Snapshot Distillation for 3D Semantic Segmentation [71.94615164565589]
マルチモーダル融合とマルチモデルアンサンブルは3次元セマンティックセグメンテーションの性能向上に有効である。
本稿では,マルチモーダルモデル(すなわち点雲と画像)と複数のモデルエキスパートから,知識蒸留を通じてポイントクラウドベースのネットワークにリッチな知識を移行することを提案する。
Heterogeneous and Adept Snapshot Knowledge Distillationは、HAS-KDと呼ばれ、ScanNetV2とS3DISデータセットの最先端の結果を得る。
論文 参考訳（メタデータ） (2026-06-24T01:31:22Z) - Sparse Subspace-to-Expert Sharing for Task-Agnostic Continual Learning [10.01449025634975]
既存のメソッドはパラメータを均一に扱い、特定のタスク知識と共有能力の区別に失敗する。
適応的なスパース部分空間分解によって可塑性・安定性の対立を解決するフレームワークであるタスク非依存型連続学習のためのスパースエキスパートの混合(SETA)を導入する。
SETAは、最先端の継続的な学習ベースラインと比較して、競争力や優れた総合的なパフォーマンスを達成できることを示す。
論文 参考訳（メタデータ） (2026-06-05T17:53:52Z) - SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。
プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。
また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
論文 参考訳（メタデータ） (2026-02-02T11:47:06Z) - Offline Discovery of Interpretable Skills from Multi-Task Trajectories [8.119611773942562]
オフラインスキル発見と階層的模倣のための3段階のエンドツーエンド学習フレームワークであるLOKIを紹介する。
LOKIは、挑戦的なD4RL Kitchenベンチマークで高い成功率を獲得し、標準のHILベースラインを上回っている。
論文 参考訳（メタデータ） (2026-02-01T05:03:58Z) - Split-on-Share: Mixture of Sparse Experts for Task-Agnostic Continual Learning [10.01449025634975]
大規模言語モデル(LLM)における連続学習は、可塑性安定性ジレンマによって妨げられる。
モデルをモジュラー部分空間に分解することで可塑性と安定性の衝突を解決するフレームワークであるSETAを紹介する。
SETA は,パラメータ効率のよい連続学習法よりも常に優れていることを示す。
論文 参考訳（メタデータ） (2026-01-24T22:39:22Z) - Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。
SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。
近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。
本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
論文 参考訳（メタデータ） (2025-11-07T22:19:34Z) - Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。
提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
論文 参考訳（メタデータ） (2023-10-02T08:49:56Z) - Improving Long-tailed Object Detection with Image-Level Supervision by
Multi-Task Collaborative Learning [18.496765732728164]
マルチタスク協調方式において,画像レベルの監視を活用して検出能力を向上する新しいフレームワークCLISを提案する。
CLISは、テールカテゴリーを10.1ポイント改善した31.1のAPを達成し、新しい最先端技術を確立した。
論文 参考訳（メタデータ） (2022-10-11T16:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。