論文の概要: TACO: Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition
- arxiv url: http://arxiv.org/abs/2606.25478v1
- Date: Wed, 24 Jun 2026 07:06:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.252949
- Title: TACO: Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition
- Title（参考訳）: TACO:ビデオ認識におけるタスク一貫性のあるオープンボキャブラリ適応を目指して
- Abstract要約: 既存の研究は、微調整データ分布を超えた表現の偏りを見落としていると論じる。
この不整合によって引き起こされる潜在的な負の効果を軽減するためのフレームワークであるemphTACOを紹介する。
- 参考スコア（独自算出の注目度）: 35.164192530400356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adapting CLIP for open-vocabulary video recognition necessitates a delicate balance between newly acquired video knowledge and the pretrained generalization. While existing studies pursue this generalization-specialization trade-off with additional regularizations or constraints, we argue that they overlook the deviation of representations beyond the fine-tuning data distribution, resulting in suboptimal adaptation effects. We believe such deviation is inherited from the inconsistency between the fine-tuning and evaluation objectives, where model optimization is restricted to the known training distribution but evaluated on unseen ones. In this paper, we introduce \emph{TACO}, a simple yet effective framework to mitigate the potential negative effects induced by this inconsistency. Our key insight is that adaptation should preserve OOD-relevant alignment beyond the training distribution. To this end, we propose \emph{Relative Structure Distillation}, which regularizes the relative geometry of the representation space and suppresses harmful alignment shift during training. We further decouple the representation space from the optimization space with a lightweight specialization projection, allowing task-specific adaptation without directly overspecializing the representations used at test time. \emph{TACO} establishes state-of-the-art performance on diverse benchmarks under cross-dataset and base-to-novel settings. Code will be released at https://github.com/ZMHH-H/TACO.
- Abstract（参考訳）: オープン語彙ビデオ認識にCLIPを適用するには、新たに取得したビデオ知識と事前学習された一般化との微妙なバランスが必要である。
既存の研究では、この一般化-特殊化トレードオフをさらなる規則化や制約で追求しているが、これらは微調整データ分布を超えた表現の偏りを見逃し、最適でない適応効果をもたらすと論じている。
このような偏差は、モデル最適化が既知のトレーニング分布に制限されるが、見当たらないものに対して評価される、微調整と評価の両目的の不整合から受け継がれていると我々は信じている。
本稿では,この矛盾によって引き起こされる潜在的な負の効果を緩和する,シンプルで効果的なフレームワークであるemph{TACO}を紹介する。
我々の重要な洞察は、適応は訓練分布を超えたOOD関連アライメントを維持するべきだということです。
この目的のために、表現空間の相対幾何学を正規化し、トレーニング中に有害なアライメントシフトを抑制する「emph{Relative Structure Distillation}」を提案する。
さらに、軽量な特殊化プロジェクションにより、最適化空間から表現空間を分離し、テスト時に使われる表現を直接特殊化することなくタスク固有の適応を可能にする。
\emph{TACO}は、クロスデータセットとベース・ツー・ノーベル設定の下で、さまざまなベンチマークで最先端のパフォーマンスを確立する。
コードはhttps://github.com/ZMHH-H/TACO.comで公開される。
関連論文リスト
- Unified Video Dense Prediction from Disjoint Data [71.9957801898161]
深度,表面正規度,セマンティックセグメンテーション,境界,人的部分,アルベド,シェーディング,素材の8つの密集したシーン特性を共同で予測する統合ビデオモデルUniDを紹介する。
本稿では,タスクプロジェクタを介し,タスク毎の専門家が統一されたバックボーンを監督する簡易かつ効果的な蒸留手順を提案する。
UniDは、タスクごとのスペシャリストやマルチタスクベースラインと競合するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-07-23T17:59:50Z) - GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution [5.770893169582546]
この研究は、属性をサブセットレベルの反事実的ユーティリティ予測として再定義する。
相互作用を意識したサロゲートであるGRASPを紹介する。
それは、既存のスケーラブルなベースラインを決定的に上回る。
論文 参考訳（メタデータ） (2026-06-05T04:17:50Z) - Improving CLIP Adaptation by Breaking Tail Alignment for Source-Free Cross-Domain Few-Shot Learning [25.20062959668559]
本稿では,CLIPをベースとしたCDFSLタスクにおけるターゲット領域の少数ショットファインタニングに焦点を当てた。
特定の低相似画像トークンを積極的に押し出すと、ターゲットドメインのパフォーマンスが向上する。
そこで我々は,CLIPの新しい微調整戦略であるAdaptive Tail-Head Alignment (ATHA)を提案する。
論文 参考訳（メタデータ） (2026-05-28T11:21:44Z) - One Last Attention for Your Vision-Language Model [42.872184600248914]
微調整中に最終的な融合表現を明示的に活用するための textbfRational textbfAdaptaion (RAda) を提案する。
RAdaは、VLMの端に取り付けられた軽量の注意層から得られた学習マスクを用いて、有理行列の各要素の寄与を動的に校正する。
実験の結果、RADAは汎用的な微調整技術として機能し、最小限のコードでベースラインを改善し、ほとんどの設定で現行のアートと互換性のあるパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-07-21T10:35:32Z) - Prompt-OT: An Optimal Transport Regularization Paradigm for Knowledge Preservation in Vision-Language Model Adaptation [5.296260279593993]
CLIPのような視覚言語モデル(VLM)は、強力なパフォーマンスを示すが、下流タスクに適応する際には苦労する。
本稿では,特徴分布の構造的整合性を保つことにより,忘れを軽減できる最適トランスポート(OT)誘導型プロンプト学習フレームワークを提案する。
提案手法は,視覚とテキスト表現の両面に制約を課し,全体的な特徴の整合性を確保する。
論文 参考訳（メタデータ） (2025-03-11T21:38:34Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳（メタデータ） (2023-12-19T06:06:30Z) - Transform-Equivariant Consistency Learning for Temporal Sentence
Grounding [66.10949751429781]
ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。
私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。
特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
論文 参考訳（メタデータ） (2023-05-06T19:29:28Z) - Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。
残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。
本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
論文 参考訳（メタデータ） (2022-12-15T05:09:11Z) - Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent
Space Distribution Matching in WAE [51.09507030387935]
Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。
本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。
WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
論文 参考訳（メタデータ） (2021-10-19T22:55:47Z) - Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。
セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。
提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
論文 参考訳（メタデータ） (2020-12-08T18:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。