論文の概要: Assessing Representation Semantics Under Language Pretraining in Fine-Grained Classification
- arxiv url: http://arxiv.org/abs/2610.28051v1
- Date: Tue, 20 Oct 2026 11:39:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.782439
- Title: Assessing Representation Semantics Under Language Pretraining in Fine-Grained Classification
- Title（参考訳）: 細粒度分類における言語事前学習における表現意味論の評価
- Abstract要約: 分類限定とキャプション・ジェネレーションによって訓練されたエンコーダを比較するための,コンパクトな説明可能性駆動型フレームワークを提案する。
注目ロールアウトと勾配重み付きロールアウトを使用して、サリエンシマップを生成する。
Oxford-IIIT Petデータセットのアブレーション研究は、主要な指標間で一貫した傾向を示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding how supervision signals shape semantic visual representations remains challenging, particularly in fine-grained, low-data settings. Standard evaluations of vision models rely on downstream accuracy, which often fails to capture structural differences in learned representations. We propose a compact explainability-driven framework for comparing encoders trained with classification-only and caption-generation supervision on CUB-200. Using a controlled two-stage protocol in which both encoders are ultimately optimized for the same classification task, we enable a direct comparison of the resulting representations. Saliency maps are generated using attention rollout and gradient-weighted rollout and evaluated with five metrics covering faithfulness (positive and negative perturbation) and localization (keypoint emphasis, background attribution, and Earth Mover's Distance). Across random seeds and explanation methods, caption supervision yields representations that are more sensitive to the removal of salient regions, better aligned with annotated object parts, and less reliant on background regions, whereas classification supervision produces representations that are slightly more robust to the removal of low-saliency regions. An ablation study on the Oxford-IIIT Pet dataset shows consistent trends across key metrics. These results demonstrate that the proposed framework makes supervision-induced representational differences observable and quantifiable beyond downstream accuracy alone. More broadly, it provides a systematic basis for assessing learned representations and comparing alternative training and transfer-learning strategies.
- Abstract（参考訳）: 監視信号がどのようにセマンティックな視覚表現を形成するかを理解することは、特に細粒度で低データのセッティングにおいて、依然として困難である。
視覚モデルの標準的な評価は下流の精度に依存しており、しばしば学習された表現の構造的な違いを捉えるのに失敗する。
本稿では,CUB-200上での分類専用およびキャプション世代管理で訓練されたエンコーダを比較するための,コンパクトな説明可能性駆動型フレームワークを提案する。
両エンコーダが最終的に同一の分類タスクに最適化される制御された2段階プロトコルを用いて,結果の直接比較を可能にする。
サリエンシマップは、注目ロールアウトと勾配重み付きロールアウトを使用して生成され、忠実度(正と負の摂動)とローカライゼーション(キーポイント強調、バックグラウンド属性、アースモーバー距離)をカバーする5つの指標で評価される。
ランダムシードや説明方法全体では、キャプション監督は、塩分領域の除去に対してより敏感で、注釈付けされた対象部位との整合性が良く、背景領域への依存度が低い表現を生成するのに対し、分類監督は低塩分領域の除去に対してわずかに堅牢な表現を生成する。
Oxford-IIIT Petデータセットのアブレーション研究は、主要な指標間で一貫した傾向を示している。
これらの結果から,提案フレームワークは,下流の精度だけでなく,監視による表現差を観測可能かつ定量化できることを示した。
より広範に、学習した表現を評価し、代替のトレーニングと移動学習戦略を比較するための体系的な基盤を提供する。
関連論文リスト
- Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference [18.68720277535819]
本研究では, 予め訓練したエンコーダを更新することなく, 高精度な領域分割アライメントを推論で行うことにより, 構成性能が劇的に向上することを示す。
次に,凍結パッチやトークン埋め込みから直接,このようなアライメントを学習する軽量トランスフォーマーを導入する。
論文 参考訳（メタデータ） (2026-04-13T14:03:18Z) - Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。
提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。
我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
論文 参考訳（メタデータ） (2026-04-07T12:53:22Z) - Self-Supervised Learning as Discrete Communication [3.33876524834826]
ほとんどの自己教師付き学習(SSL)メソッドは、同じ入力の異なるビューを整列させることで、連続的な視覚表現を学習する。
我々は,教師と学生ネットワーク間の個別のコミュニケーションプロセスとして,視覚的自己教師型学習の枠組みを定めている。
プロジェクションヘッドの周期的再起動は、予測的のままの埋め込みを促進することによって、この効果を高めることを示す。
論文 参考訳（メタデータ） (2026-02-10T13:24:06Z) - Preserving Clusters in Prompt Learning for Unsupervised Domain Adaptation [29.809079908218607]
この研究は、ベース擬似ラベルを強化し、ターゲット・プロンプト学習を促進する新しいソリューションを導入している。
まず、ソースとターゲットの視覚的埋め込みの関係に基づき、参照予測を活用することを提案する。
その後、事前学習したマルチモーダルモデルにおいて、視覚とテキストの埋め込みの間に強いクラスタリングの挙動が観察されていることを示した。
論文 参考訳（メタデータ） (2025-06-13T06:33:27Z) - Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。
具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。
そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文 参考訳（メタデータ） (2024-08-08T17:20:08Z) - Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual
Recognition [57.08108545219043]
サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。
既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。
本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
論文 参考訳（メタデータ） (2023-05-12T00:13:17Z) - Improving Visual Grounding by Encouraging Consistent Gradient-based
Explanations [58.442103936918805]
注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。
AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
論文 参考訳（メタデータ） (2022-06-30T17:55:12Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳（メタデータ） (2021-09-24T07:20:13Z) - Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。
まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。
第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
論文 参考訳（メタデータ） (2021-08-29T05:45:03Z) - Semi-Supervised Semantic Segmentation with Cross-Consistency Training [8.894935073145252]
セマンティックセグメンテーションのための新しいクロス一貫性に基づく半教師付きアプローチを提案する。
提案手法は,いくつかのデータセットにおける最先端結果を実現する。
論文 参考訳（メタデータ） (2020-03-19T20:10:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。