論文の概要: Which Direction to Choose? An Analysis on the Representation Power of Self-Supervised ViTs in Downstream Tasks

• arxiv url: http://arxiv.org/abs/2509.15272v1
• Date: Thu, 18 Sep 2025 11:46:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.840428
• Title: Which Direction to Choose? An Analysis on the Representation Power of Self-Supervised ViTs in Downstream Tasks
• Title（参考訳）: どちらを選ぶべきか : 下流課題における自己監督型VTTの表現力の分析
• Authors: Yannis Kaltampanidis, Alexandros Doumanoglou, Dimitrios Zarpalas,
• Abstract要約: 視覚変換のための自己監督学習(ViTs)は、近年、様々なコンピュータビジョンタスクの事前学習戦略としてかなりの可能性を示している。 本研究の目的は,画像分類とセグメント化タスクにまたがる未修正特徴の使用を体系的に評価することで,ギャップを埋めることである。
• 参考スコア（独自算出の注目度）: 43.473390101413166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-Supervised Learning (SSL) for Vision Transformers (ViTs) has recently demonstrated considerable potential as a pre-training strategy for a variety of computer vision tasks, including image classification and segmentation, both in standard and few-shot downstream contexts. Two pre-training objectives dominate the landscape of SSL techniques: Contrastive Learning and Masked Image Modeling. Features (or tokens) extracted from the final transformer attention block -- specifically, the keys, queries, and values -- as well as features obtained after the final block's feed-forward layer, have become a common foundation for addressing downstream tasks. However, in many existing approaches, these pre-trained ViT features are further processed through additional transformation layers, often involving lightweight heads or combined with distillation, to achieve superior task performance. Although such methods can improve task outcomes, to the best of our knowledge, a comprehensive analysis of the intrinsic representation capabilities of unaltered ViT features has yet to be conducted. This study aims to bridge this gap by systematically evaluating the use of these unmodified features across image classification and segmentation tasks, in both standard and few-shot contexts. The classification and segmentation rules that we use are either hyperplane based (as in logistic regression) or cosine-similarity based, both of which rely on the presence of interpretable directions in the ViT's latent space. Based on the previous rules and without the use of additional feature transformations, we conduct an analysis across token types, tasks, and pre-trained ViT models. This study provides insights into the optimal choice for token type and decision rule based on the task, context, and the pre-training objective, while reporting detailed findings on two widely-used datasets.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)のためのセルフスーパーバイザードラーニング(SSL)は、画像分類やセグメンテーションなど、さまざまなコンピュータビジョンタスクのトレーニング前戦略として、標準および少数ショットダウンストリームのコンテキストにおいて、大きな可能性を証明している。 SSL技術の背景には、コントラスト学習(Contrastive Learning)とマスク画像モデリング(Masked Image Modeling)という2つの事前学習目的がある。 最終的なトランスフォーマーアテンションブロック(特にキー、クエリ、値)から抽出された機能(またはトークン)と、最終ブロックのフィードフォワード層後に得られた機能は、下流タスクに対処するための共通の基盤となっている。 しかし、既存の多くのアプローチでは、これらの事前訓練されたViT機能は、軽量なヘッドや蒸留を組み合わせた追加のトランスフォーメーション層によってさらに処理され、タスク性能が向上する。 このような手法はタスク結果を改善することができるが、我々の知る限り、未修正のVT特徴の内在的表現能力に関する包括的な分析はまだ行われていない。 本研究の目的は, 画像分類や分割作業における非修正機能の利用を, 標準的な文脈と少数の文脈の両方で体系的に評価することで, このギャップを埋めることである。 私たちが使用する分類と分節規則は、超平面ベース(ロジスティック回帰のように)またはコサイン類似性ベース(英語版)(cosine-similarity based)であり、どちらもViTの潜在空間における解釈可能な方向の存在に依存している。 以前のルールに基づいて、追加の機能変換を使わずに、トークンタイプ、タスク、事前訓練されたViTモデルを分析します。 本研究は,タスク,コンテキスト,事前学習目標に基づいて,トークンの種類と決定ルールの最適選択に関する知見を提供するとともに,広く使用されている2つのデータセットに関する詳細な知見を報告する。

関連論文リスト

• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Denoising Vision Transformers [43.03068202384091]
  本稿では、DVT(Denoising Vision Transformers)と呼ばれる2段階のDenoisingアプローチを提案する。 第1段階では、画像ごとのニューラルネットワークとの横断的な特徴整合を強制することにより、位置的アーティファクトによって汚染されたものからクリーンな特徴を分離する。 第2段階では、クリーンな特徴を生のViT出力から予測するために軽量なトランスフォーマーブロックを訓練し、クリーンな特徴の導出推定を監督として活用する。
  論文  参考訳（メタデータ） (2024-01-05T18:59:52Z)
• KOPPA: Improving Prompt-based Continual Learning with Key-Query Orthogonal Projection and Prototype-based One-Versus-All [24.50129285997307]
  本稿では,新しいキークエリ学習戦略を導入し,マッチング効率を向上し,機能変更の課題に対処する。 提案手法は,現在の最先端手法を最大20%の差で超えた結果を達成するためのモデルである。
  論文  参考訳（メタデータ） (2023-11-26T20:35:19Z)
• Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
  そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。 新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能 我々は,我々のモデルの有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-06T08:42:05Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
  SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。 実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-14T12:53:27Z)
• PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
  PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。 モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
  論文  参考訳（メタデータ） (2021-12-01T19:49:57Z)
• Aligning Pretraining for Detection via Object-Level Contrastive Learning [57.845286545603415]
  画像レベルのコントラスト表現学習は、伝達学習の汎用モデルとして非常に有効であることが証明されている。 我々は、これは準最適である可能性があり、従って、自己教師付きプレテキストタスクと下流タスクのアライメントを促進する設計原則を提唱する。 Selective Object Contrastive Learning (SoCo) と呼ばれる本手法は,COCO検出における伝達性能の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-04T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。