論文の概要: ViTAMINS: An Empirical Study of Training Self-Supervised Vision Transformers with Synthetic Hard Negatives

• arxiv url: http://arxiv.org/abs/2609.01041v1
• Date: Tue, 01 Sep 2026 10:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.582105
• Title: ViTAMINS: An Empirical Study of Training Self-Supervised Vision Transformers with Synthetic Hard Negatives
• Title（参考訳）: VitaMINS:合成ハード負の自己監督型視覚変換器の訓練に関する実証的研究
• Authors: Nikos Giakoumoglou, Andreas Floros, Kleanthis-Marios Papadopoulos, Tania Stathaki,
• Abstract要約: 本稿では,合成ハードネガティブを教師なし視覚変換器に組み込んで表現品質を向上させる手法であるViTAMINSを紹介する。 提案した否定は,画像の意味的内容に関する明示的な情報を含む,創発的特性をもたらす。 本研究は, コントラスト学習を, 優越的な生成・自己蒸留法に代わる, シンプルかつ強力な代替手段として再考する動機となっている。
• 参考スコア（独自算出の注目度）: 5.571793666361683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce ViTAMINS, a method that integrates synthetic hard negatives into unsupervised vision transformer pretraining to improve representation quality. Our approach is thoroughly benchmarked on ImageNet and transfer learning, image retrieval, copy detection, and image, video segmentation tasks. Notably, our proposed negatives give rise to emergent properties, where learned representations contain explicit information about the semantic content of an image and serve as excellent classifiers (up to +11.3% over baselines). ViTAMINS achieves these benefits through simple modifications to existing contrastive frameworks and outperforms competing methods while being more resource efficient, e.g., our ViT-B surpasses V-JEPA with ViT-L. Our findings motivate reconsidering contrastive learning as a simpler yet powerful alternative to dominant generative and self-distillation approaches.
• Abstract（参考訳）: 本稿では,合成ハードネガティブを教師なし視覚変換器に組み込んで表現品質を向上させる手法であるViTAMINSを紹介する。 提案手法は、ImageNetと転送学習、画像検索、コピー検出、画像分割タスクを徹底的にベンチマークする。 ここでは、学習された表現が画像の意味的内容に関する明示的な情報を含み、優れた分類器として機能する(ベースライン上の+11.3%まで)。 ViTAMINSは、既存のコントラストフレームワークに簡単な修正を加え、競合するメソッドよりも優れたリソース効率で、例えば、VT-BはV-JEPAをViT-Lで上回っている。 本研究は, コントラスト学習を, 優越的な生成・自己蒸留法に代わる, シンプルかつ強力な代替手段として再考する動機となっている。

関連論文リスト

• Unsupervised Training of Vision Transformers with Synthetic Negatives [5.571793666361683]
  我々は、視覚変換器表現学習を改善するために合成ハードネガティブを統合する。 この単純で効果的な手法は、学習された表現の識別力を向上させる。
  論文  参考訳（メタデータ） (2025-09-02T07:14:21Z)
• Contrasting Intra-Modal and Ranking Cross-Modal Hard Negatives to Enhance Visio-Linguistic Compositional Understanding [6.798129852396113]
  視覚言語モデル(VLM)における合成推論を改善するためのシンプルで効果的な手法を提案する。 本手法は,標準画像テキストコントラスト学習フレームワークを改良・拡張することで,利用可能なデータセットをより活用する。 CLIPと統合すると、最先端のベースラインよりも顕著な改善が得られます。
  論文  参考訳（メタデータ） (2023-06-15T03:26:28Z)
• Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
  SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。 実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-14T12:53:27Z)
• A Practical Contrastive Learning Framework for Single-Image Super-Resolution [51.422185656787285]
  コントラスト学習に基づく単一画像の超解像を2つの視点から検討する。 SISR のための実践的コントラスト学習フレームワーク PCL-SR を提案する。 既存のベンチマーク手法と比較して,提案手法をPCL-SRフレームワークで再学習し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-11-27T15:42:12Z)
• Self-Distilled Self-Supervised Representation Learning [35.60243157730165]
  自己教師付き学習における最先端のフレームワークは、トランスフォーマーベースのモデルを完全に活用することでパフォーマンスが向上することを示した。 本研究では, コントラッシブ・ロスにより, 中間表現が最終層から学習できるようにすることにより, さらにこれを活用する。 我々の手法であるSDSSL(Self-Distilled Self-Supervised Learning)は,様々なタスクやデータセット上でのViTを用いた競争ベースライン(SimCLR, BYOL, MoCo v3)より優れています。
  論文  参考訳（メタデータ） (2021-11-25T07:52:36Z)
• Efficient Self-supervised Vision Transformers for Representation Learning [86.57557009109411]
  疎密な自己意識を持つマルチステージアーキテクチャは、モデリングの複雑さを著しく低減できることを示す。 そこで本研究では,モデルがよりきめ細かな領域依存を捕捉できるような,領域マッチングの事前学習タスクを提案する。 この2つの手法を組み合わせることで,ImageNet線形プローブ評価において,EsViTは81.3%のトップ1を達成した。
  論文  参考訳（メタデータ） (2021-06-17T19:57:33Z)
• Few-Shot Learning with Part Discovery and Augmentation from Unlabeled Images [79.34600869202373]
  帰納的バイアスは、ラベルなし画像の平坦な集合から学習でき、目に見えるクラスと目に見えないクラスの間で伝達可能な表現としてインスタンス化されることを示す。 具体的には、トランスファー可能な表現を学習するための、新しいパートベース自己教師型表現学習手法を提案する。 我々の手法は印象的な結果をもたらし、それまでの最高の教師なし手法を7.74%、9.24%上回った。
  論文  参考訳（メタデータ） (2021-05-25T12:22:11Z)
• Emerging Properties in Self-Supervised Vision Transformers [57.36837447500544]
  コンボリューションネットワーク (convnets) と比較して際立つ, 自己監督型 ViT が Vision Transformer (ViT) に新たな特性を提供することを示した。 本研究は,ラベルのない自己蒸留の形態として解釈する,DINOと呼ばれる単純な自己監督方式で実施する。 ViT-Baseを用いた線形評価において、ImageNet上で80.1%のトップ-1を達成し、DINOとViTの相乗効果を示す。
  論文  参考訳（メタデータ） (2021-04-29T12:28:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。