論文の概要: Semantic Capability Acquisition and Specialization During Vision-Language Model Fine-Tuning
- arxiv url: http://arxiv.org/abs/2610.07385v1
- Date: Mon, 05 Oct 2026 20:56:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.661121
- Title: Semantic Capability Acquisition and Specialization During Vision-Language Model Fine-Tuning
- Title（参考訳）: 視覚言語モデルファインチューニングにおける意味的能力獲得と特殊化
- Abstract要約: セマンティックな能力がどのように獲得され、いつピークになるか、どのように転送されるか、デプロイ時に残るものについて調べる。
本稿では,能力獲得,能力特異的な最適性,そしてそれ以降を分離した軌道に基づく枠組みを定式化し,SSR(Structured Semantic Routing)を導入して,監督の表現が獲得するものをどのように形作るかを研究する。
本研究では, 微調整により, 予め訓練した状態を超えて, セマンティックな能力が得られることを示す。
- 参考スコア（独自算出の注目度）: 0.5352699766206809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning vision-language models (VLMs) is typically evaluated at a single downstream checkpoint, obscuring whether a semantic capability was never acquired or emerged earlier and later declined during specialization. We ask how semantic capabilities are acquired, when they peak, how well they transfer, and what remains at deployment. We study these dynamics as a semantic capability trajectory, tracking identity- and attribute-based capabilities over training. We formulate a trajectory-based framework that separates capability acquisition, capability-specific optima, and later specialization, and introduce Structured Semantic Routing (SSR) to study how the representation of supervision shapes what is acquired. Across six pretrained backbones spanning DFN, MetaCLIP, and OpenAI CLIP, we show that fine-tuning can acquire semantic capability beyond the pretrained state, including gains observed on held-out evaluations. Unstructured name-and-attribute supervision produces strong name-and-attribute retrieval with comparatively weak name-free attribute-profile retrieval, whereas SSR yields substantially stronger name-free attribute-profile retrieval and is further strengthened by stochastic name-branch dropout. Different capabilities can peak at different stages, so a checkpoint selected by target class-name retrieval need not coincide with a transferable semantic optimum. Continued optimization can therefore preserve strong target class-name retrieval while reducing previously acquired transferable semantic capability. In a representative diagnostic study, this late specialization is consistent with reduced cross-modal semantic accessibility while substantial image-only class structure remains available.
- Abstract（参考訳）: 微調整視覚言語モデル(VLM)は、通常、単一の下流チェックポイントで評価され、セマンティックな能力がより早く獲得されたり、出現しなかったり、専門化の過程で衰退したりする。
セマンティックな機能がどのように獲得され、いつピークになるか、どのように転送されるか、デプロイ時に残るものは何か、などについて尋ねます。
本研究は,これらのダイナミクスを意味的能力トラジェクトリ,アイデンティティと属性に基づく能力のトレーニングにおける追跡として研究する。
本稿では,能力獲得,能力特化,その後の特殊化を分離する軌道に基づく枠組みを定式化し,SSR(Structured Semantic Routing)を導入して,監督の表現が獲得するものをどのように形作るかを検討する。
DFN, MetaCLIP, OpenAI CLIPにまたがる6つの事前訓練バックボーンにおいて, 微調整が事前訓練状態を超えて意味的能力を得ることができることを示す。
非構造化な名前と属性の監視は、比較的弱い名前のない属性の検索で強い名前と属性の検索を生成するが、SSRは、より強い名前のない属性の検索を産み出し、確率的な名前とブランチのドロップアウトによってさらに強化される。
異なる能力は異なる段階でピークに達することができるため、ターゲットクラス名検索によって選択されたチェックポイントは、転送可能なセマンティック最適値と一致しない。
したがって、継続最適化は、以前に取得した転送可能なセマンティック能力を低減しつつ、強力なターゲットクラス名検索を保持することができる。
代表的な診断研究では、この後期特殊化は、画像のみのクラス構造が引き続き利用可能でありながら、モーダル間のセマンティックアクセシビリティの低下と一致している。
関連論文リスト
- SCALE: Semantic- and Confidence-Aware Conditional Variational Autoencoder for Zero-shot Skeleton-based Action Recognition [4.853241666510524]
ゼロショットスケルトンに基づくアクション認識(ZSAR)は、これらのクラスからのトレーニングスケルトンなしでアクションクラスを認識することを目的としている。
本稿では,ZSARをクラス条件エネルギーランキングとして定式化する,軽量で決定論的セマンティックなセマンティック・アンド・信頼を意識したエネルギーベースフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-02T16:12:42Z) - Uncovering Intrinsic Capabilities: A Paradigm for Data Curation in Vision-Language Models [26.897329298659717]
本稿では,タスク固有のキュレーションから本質的な能力分析へ移行するフレームワークであるCapability-Attributed Data Curation(CADC)を紹介する。
CADCは、勾配に基づく学習軌跡から教師なしの方法で本質的な能力を発見する。
オリジナルのデータの5%に過ぎず、CADCはマルチモーダルベンチマークでのフルデータトレーニングを超越している。
論文 参考訳（メタデータ） (2025-09-27T02:57:37Z) - What Makes You Unique? Attribute Prompt Composition for Object Re-Identification [70.67907354506278]
Object Re-IDentificationは、重複しないカメラビューで個人を認識することを目的としている。
単一ドメインモデルはドメイン固有の機能に過度に適合する傾向がありますが、クロスドメインモデルは多種多様な正規化戦略に依存します。
本稿では,テキストのセマンティクスを利用して識別と一般化を協調的に強化する属性プロンプト合成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-23T07:03:08Z) - Unified modality separation: A vision-language framework for unsupervised domain adaptation [60.8391821117794]
教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインでトレーニングされたモデルが新しいラベル付きドメインを扱うことを可能にする。
本稿では,モダリティ固有成分とモダリティ不変成分の両方に対応可能な統一モダリティ分離フレームワークを提案する。
提案手法は,9倍の計算効率で最大9%の性能向上を実現している。
論文 参考訳（メタデータ） (2025-08-07T02:51:10Z) - Harnessing Textual Semantic Priors for Knowledge Transfer and Refinement in CLIP-Driven Continual Learning [47.56496248878093]
継続的な学習は、過去の知識を忘れずにタスクの流れから学習する能力をモデルに装備することを目的としている。
本稿では,テキスト先行のアンチフォッゲッティングと構造化の性質を利用した統合フレームワークを提案し,セマンティック・アウェア・ナレッジ・トランスファーを導く。
論文 参考訳（メタデータ） (2025-08-03T04:09:00Z) - There is no SAMantics! Exploring SAM as a Backbone for Visual Understanding Tasks [15.061599989448867]
Segment Anything Model (SAM) はもともとラベルに依存しないマスク生成のために設計された。
分類タスクにおけるベース画像エンコーダの有効性を比較することにより,SAMのセマンティック能力の定量化を図る。
その結果,SAM特徴表現における意味的識別性の欠如が明らかとなった。
論文 参考訳（メタデータ） (2024-11-22T17:00:18Z) - Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。
融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。
我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
論文 参考訳（メタデータ） (2023-08-19T09:12:13Z) - Learning Domain Adaptive Object Detection with Probabilistic Teacher [93.76128726257946]
確率的教師(PT)と呼ばれる,シンプルで効果的な枠組みを提案する。
PTは、段階的に進化する教師から未ラベルの目標データの不確実性を捉え、相互に有利な方法で生徒の学習を指導することを目的としている。
また,不確実性誘導型自己学習を促進するために,新しいエントロピー・フォカル・ロス(EFL)を提案する。
論文 参考訳（メタデータ） (2022-06-13T16:24:22Z) - Structure-Aware Feature Generation for Zero-Shot Learning [108.76968151682621]
潜在空間と生成ネットワークの両方を学習する際の位相構造を考慮し,SA-GANと呼ばれる新しい構造認識特徴生成手法を提案する。
本手法は,未確認クラスの一般化能力を大幅に向上させ,分類性能を向上させる。
論文 参考訳（メタデータ） (2021-08-16T11:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。