論文の概要: Learning Fine-Grained Visual Classification with Text as Privileged Information via Multimodal Distillation

• arxiv url: http://arxiv.org/abs/2610.32442v1
• Date: Fri, 23 Oct 2026 10:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.490705
• Title: Learning Fine-Grained Visual Classification with Text as Privileged Information via Multimodal Distillation
• Title（参考訳）: テキストによる細粒度視覚分類の学習 : マルチモーダル蒸留による予備情報化
• Abstract要約: きめ細かい視覚分類(FGVC)は、微妙で局所的な視覚差に着目して、非常に類似したカテゴリーを区別する必要がある。 近年, テキスト記述は, 対象特性を明示的に記述することで, 意味的管理に役立てることが実証されている。 学習中に属性記述を活用するフレームワークFG-LUPIを提案する。
• 参考スコア（独自算出の注目度）: 5.9771814055976025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained visual classification (FGVC) requires distinguishing between highly similar categories by focusing on subtle, localized visual differences. Recent multimodal methods have demonstrated that textual attribute descriptions can provide valuable semantic supervision by explicitly describing discriminative object characteristics. However, these descriptions are typically unavailable at test time, limiting their direct use in deployment. We propose FG-LUPI, a Learning Using Privileged Information (LUPI)-based framework that leverages attribute descriptions during training. We train a multimodal teacher that integrates image patches and textual attributes via gated cross-attention, allowing semantic attributes to condition visual representations. We distill this knowledge into an image-only student using multi-level distillation at the prediction, patch, and attention levels, aligning global predictions, patch representations, and attention patterns with the teacher. This encourages the student to inherit attention structure learned from multimodal supervision while maintaining image-only inference. Experiments on multiple FGVC benchmarks show consistent improvements in classification accuracy over strong ViT-based baselines. Furthermore, evaluation using Expected Calibration Error (ECE) shows that FG-LUPI also produces better-calibrated predictions across all six benchmarks. These results suggest that textual attribute supervision can benefit not only fine-grained recognition performance but also the reliability of model confidence, while preserving the efficiency and practicality of image-only inference.
• Abstract（参考訳）: きめ細かい視覚分類(FGVC)は、微妙で局所的な視覚差に着目して、非常に類似したカテゴリーを区別する必要がある。 近年のマルチモーダル手法では、テキスト属性記述は、識別対象の特徴を明確に記述することで、意味的な意味を意味づけることが実証されている。 しかしながら、これらの記述は通常、テスト時に利用できなくなり、デプロイで直接の使用を制限する。 本稿では,FG-LUPI(Learning Using Privileged Information (LUPI))ベースのフレームワークを提案する。 我々は,イメージパッチとテキスト属性を統合したマルチモーダル教師をゲートクロスアテンションで訓練し,セマンティック属性を条件付き視覚表現に利用できるようにする。 我々はこの知識を,教師とグローバルな予測,パッチ表現,注意パターンを整合させて,予測,パッチ,注意レベルにおける多段階蒸留を用いて画像のみの学生に蒸留する。 これにより、画像のみの推論を維持しながら、マルチモーダル監視から学んだ注意構造を継承することが促される。 複数のFGVCベンチマークの実験では、強いVTベースのベースラインよりも、分類精度が一貫した改善が見られた。 さらに, 予測校正誤差 (ECE) を用いて評価した結果, FG-LUPI は6つのベンチマークすべてにおいて, より良い校正予測を導出することがわかった。 これらの結果から,画像のみの推論の効率性と実用性を維持しつつ,微粒化認識性能だけでなく,モデル信頼性の信頼性にも寄与する可能性が示唆された。

関連論文リスト

• Unleashing the Power of Vision-Language Models for Long-Tailed Multi-Label Visual Recognition [55.189113121465816]
  本稿では,長い尾を持つ多ラベル視覚認識のための新しい相関適応プロンプトネットワーク(CAPNET)を提案する。 CAPNETはCLIPのテキストエンコーダからの相関を明示的にモデル化する。 テスト時間アンサンブルによる一般化を改善し、視覚・テクスチャのモダリティを実現する。
  論文  参考訳（メタデータ） (2025-11-25T18:57:28Z)
• Zero-Shot Fine-Grained Image Classification Using Large Vision-Language Models [4.499940819352075]
  LVLM(Large Vision-Language Models)は、視覚言語推論タスクにおいて顕著な性能を示す。 ゼロショットのきめ細かい画像分類を視覚的問合せフレームワークに変換する新しい手法を提案する。 提案手法は現状のSOTA(State-of-the-art)手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-10-04T18:56:41Z)
• Image Recognition with Vision and Language Embeddings of VLMs [14.022566577479322]
  視覚言語モデル(VLM)は、画像テキストアライメントによる強力なゼロショット分類を実現している。 言語誘導画像と視覚のみの画像分類を多種多様なデュアルエンコーダVLMを用いて包括的に評価する。 精度に影響を及ぼす重要な要因は、素早い設計、クラス多様性、k-NNの隣人数、参照セットサイズなどである。
  論文  参考訳（メタデータ） (2025-09-11T09:54:25Z)
• PP-SSL : Priority-Perception Self-Supervised Learning for Fine-Grained Recognition [28.863121559446665]
  自己教師付き学習は、将来性のある結果とともに、きめ細かい視覚認識において出現している。 既存の自己教師型学習手法は、自己教師型タスクにおける無関係なパターンに影響を受けやすい。 本稿では,PP-SSL と表記される新しい優先度知覚自己監視学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-28T15:47:41Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• Fine-Grained Visual Classification using Self Assessment Classifier [12.596520707449027]
  識別的特徴の抽出は、きめ細かい視覚的分類タスクにおいて重要な役割を担っている。 本稿では,画像とトップkの予測クラスを同時に活用する自己評価手法を提案する。 本手法は,CUB200-2011,Stanford Dog,FGVC Aircraft のデータセットに対して,最新の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-21T07:41:27Z)
• Attribute Prototype Network for Any-Shot Learning [113.50220968583353]
  属性ローカライズ機能を統合した画像表現は、任意のショット、すなわちゼロショットと少数ショットのイメージ分類タスクに有用である、と我々は主張する。 クラスレベルの属性のみを用いてグローバルな特徴とローカルな特徴を共同で学習する新しい表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-04T02:25:40Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Class-Balanced Distillation for Long-Tailed Visual Recognition [100.10293372607222]
  実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。 本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。 我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
  論文  参考訳（メタデータ） (2021-04-12T08:21:03Z)
• Semi-supervised Learning with a Teacher-student Network for Generalized Attribute Prediction [7.462336024223667]
  本稿では,視覚特性予測問題を解くための半教師付き学習について述べる。 提案手法は,ファッション属性予測のための様々なベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2020-07-14T02:06:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。