論文の概要: DinoTwins: Combining DINO and Barlow Twins for Robust, Label-Efficient Vision Transformers

• arxiv url: http://arxiv.org/abs/2508.17509v1
• Date: Sun, 24 Aug 2025 20:18:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.559592
• Title: DinoTwins: Combining DINO and Barlow Twins for Robust, Label-Efficient Vision Transformers
• Title（参考訳）: DinoTwins:DINOとBarlowツインを併用したロバスト、ラベル効率の良いビジョントランス
• Authors: Michael Podsiadly, Brendon K Lay,
• Abstract要約: DINO (Teacher-Student Learning) と Barlow Twins (Landance reduction) を組み合わせて,ラベルが少なく,計算能力も低いモデルを構築します。 予備的な結果は、組み合わせたアプローチは、強い特徴表現を維持しながら、DINOに匹敵する損失と分類精度を達成できることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training AI models to understand images without costly labeled data remains a challenge. We combine two techniques--DINO (teacher-student learning) and Barlow Twins (redundancy reduction)--to create a model that learns better with fewer labels and less compute. While both DINO and Barlow Twins have independently demonstrated strong performance in self-supervised learning, each comes with limitations--DINO may be sensitive to certain augmentations, and Barlow Twins often requires batch sizes too large to fit on consumer hardware. By combining the redundancy-reduction objective of Barlow Twins with the self-distillation strategy of DINO, we aim to leverage their complementary strengths. We train a hybrid model on the MS COCO dataset using only 10\% of labeled data for linear probing, and evaluate its performance against standalone DINO and Barlow Twins implementations. Preliminary results show that the combined approach achieves comparable loss and classification accuracy to DINO while maintaining strong feature representations. Attention visualizations further suggest improved semantic segmentation capability in the hybrid model. This combined method offers a scalable, label-efficient alternative for training ViTs in resource-constrained environments.
• Abstract（参考訳）: 高価なラベル付きデータを使わずに画像を理解するためにAIモデルを訓練することは、依然として課題である。 DINO (Teacher-student learning) と Barlow Twins (dundancy reduction) の2つのテクニックを組み合わせることで、ラベルを減らし、計算量を減らすモデルを構築する。 DINOとBarlow Twinsは独立して自己教師型学習の強力なパフォーマンスを示しているが、それぞれに制限がある。DINOは特定の拡張に敏感であり、Barlow Twinsはコンシューマーハードウェアに適合するにはバッチサイズが大きすぎることが多い。 バーロウ・ツインズの冗長性低減目標とDINOの自己蒸留戦略を組み合わせることで,それらの相補的強みを活用することを目指す。 線形探索のためにラベル付きデータの10%しか使用せず,MS COCOデータセット上でハイブリッドモデルを訓練し,その性能をスタンドアロンDINOとBarlow Twinsの実装と比較した。 予備的な結果は、組み合わせたアプローチは、強い特徴表現を維持しながら、DINOに匹敵する損失と分類精度を達成できることを示している。 注意の可視化はさらに、ハイブリッドモデルにおけるセマンティックセグメンテーション機能の改善を示唆している。 この組み合わせは、リソース制約のある環境でViTをトレーニングするためのスケーラブルでラベル効率のよい代替手段を提供する。

関連論文リスト

• Mono2Stereo: Monocular Knowledge Transfer for Enhanced Stereo Matching [7.840781070208874]
  ステレオマッチング,すなわちMono2Stereoを強化するために,モノラルな知識伝達を活用することを提案する。 合成データ事前学習と実世界のデータ微調整を併用した2段階の学習プロセスによる知識伝達を導入する。 実験の結果,事前学習したモデルでは強いゼロショット能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-11-14T03:01:36Z)
• Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
  フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。 我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
  論文  参考訳（メタデータ） (2024-02-22T10:19:34Z)
• Guarding Barlow Twins Against Overfitting with Mixed Samples [27.7244906436942]
  自己教師付き学習は、ラベル付きデータに頼ることなく、下流アプリケーションのための転送可能な特徴表現を学習することを目的としている。 線形補間標本を用いたBarlow Twinsトレーニングにおけるサンプルインタラクションの改善を目的としたMixed Barlow Twinsを紹介した。
  論文  参考訳（メタデータ） (2023-12-04T18:59:36Z)
• BTSeg: Barlow Twins Regularization for Domain Adaptation in Semantic Segmentation [3.5229503563299915]
  セマンティックセグメンテーションモデルを強化した,革新的な半教師付きトレーニング手法であるBTSegを紹介する。 類似した場所で撮影されるが、異なる有害な条件下では、同じシーンの多様体表現と見なされるため、モデルが環境の理解を概念化できる。
  論文  参考訳（メタデータ） (2023-08-31T15:49:53Z)
• Deep Active Learning Using Barlow Twins [0.0]
  畳み込みニューラルネットワーク(CNN)の一般化性能は、トレーニング画像の量、品質、多様性に大きく左右される。 タスクのアクティブラーニングの目標は、ラベルのないプールから最も情報に富んだサンプルを引き出すことである。 本稿では,すべてのデータセットに対する能動的学習手法であるBarlowTwins(DALBT)を用いたDeep Active Learningを提案する。
  論文  参考訳（メタデータ） (2022-12-30T12:39:55Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
  本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。 モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。 これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
  論文  参考訳（メタデータ） (2022-02-09T05:57:08Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Graph Barlow Twins: A self-supervised representation learning framework for graphs [25.546290138565393]
  本稿では,自己教師付きグラフ表現学習のためのフレームワークであるグラフバーローツインを提案する。 負のサンプルではなく、相互相関に基づく損失関数を利用する。 提案手法は,最高の自己管理手法と完全教師付き手法として,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-04T13:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。