論文の概要: Scalable Patch-Level Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2610.10013v1
• Date: Wed, 07 Oct 2026 13:04:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.915716
• Title: Scalable Patch-Level Self-Supervised Learning
• Title（参考訳）: スケーラブルなパッチレベル自己教師付き学習
• Abstract要約: JEMは、7Bスケールで実証された最初の潜在空間パッチレベルメソッドである。 グローバルおよび密集した探索タスクにおいて、高いパフォーマンスを達成する。 DINOv3の汎視的セグメンテーション性能を上回っている。
• 参考スコア（独自算出の注目度）: 22.748948939850447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) at scale produces powerful visual representations. However, most scalable SSL methods rely on ad hoc combinations of multiple objectives and stabilization mechanisms. Taking a step back, we ask if we can design a high-performing, yet principled SSL algorithm. Starting from the multi-view assumption, stipulating that task-relevant content is captured by the information common to different views, we construct an information-theoretic objective decomposing into interpretable terms. This derivation yields JEM, a student-teacher method that learns by aligning corresponding patch representations across views, explicitly regularized by information and structure preservation losses. JEM trains stably from 300M to 7B parameters, and, to our knowledge, is the first latent-space patch-level method demonstrated at 7B scale. Across all scales, JEM reaches strong performance on both global and dense probing tasks, on segmentation benchmarks consistently surpassing the DINOv2 algorithm, an influential foundation for today's strongest visual SSL methods. Notably, at 7B parameters, it exceeds the performance of DINOv3 on panoptic segmentation, despite being trained on $12\times$ less data without refinement stages. These results demonstrate that we can indeed design an SSL algorithm that learns strong representations, is principled and stable.
• Abstract（参考訳）: 大規模な自己教師付き学習(SSL)は強力な視覚表現を生成する。 しかし、ほとんどの拡張性のあるSSLメソッドは、複数の目的と安定化メカニズムのアドホックな組み合わせに依存している。 一歩後退して、高性能だが原則化されたSSLアルゴリズムを設計できるかを尋ねます。 マルチビューの仮定から、異なる視点に共通する情報によってタスク関連コンテンツが捕捉されることを規定し、情報理論の目的を解釈可能な用語に分解する。 この導出は、情報と構造保存の損失によって明示的に正規化され、ビュー間で対応するパッチ表現を整列させることで学習する学生-教師の手法であるJEMを導出する。 JEMは3億から7Bのパラメータを安定的に訓練し、私たちの知る限り、7Bスケールで実証された最初の潜在空間パッチレベルメソッドです。 あらゆるスケールにおいて、JEMはグローバルおよび高密度な探索タスク、そして今日の最も強力なビジュアルSSLメソッドの影響力のある基盤であるDINOv2アルゴリズムを一貫して上回るセグメンテーションベンチマークにおいて、強力なパフォーマンスを達成している。 特に7Bパラメータでは、改善段階のない12ドル以下のデータでトレーニングされているにもかかわらず、パノスコープセグメンテーションにおけるDINOv3のパフォーマンスを上回っている。 これらの結果は、強い表現を学習し、原則であり、安定したSSLアルゴリズムを実際に設計できることを実証している。

関連論文リスト

• Improving Representation Learning for Histopathologic Images with Cluster Constraints [31.426157660880673]
  自己教師型学習(SSL)事前学習戦略が,現実的な代替手段として浮上している。 転送可能な表現学習と意味的に意味のあるクラスタリングのためのSSLフレームワークを導入する。 我々の手法は、下流の分類やクラスタリングタスクにおいて一般的なSSLメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-10-18T21:20:44Z)
• Visual Self-supervised Learning Scheme for Dense Prediction Tasks on X-ray Images [3.782392436834913]
  自己教師付き学習(SSL)は自然言語処理(NLP)においてかなりの進歩をもたらした しかし、既存のビジュアルSSLモデルにコントラスト学習を組み込むことは、しばしば監督対象を超越する、かなりの進歩をもたらした。 ここでは、セキュリティ検査X線画像を用いた密集予測タスクに着目し、提案モデルであるセグメントローカライゼーション(SegLoc)を評価する。 インスタンスローカライゼーション(InsLoc)モデルに基づいて、SegLocはコントラスト学習における重要な課題の1つ、すなわち、クエリ埋め込みの偽陰性ペアに対処する。
  論文  参考訳（メタデータ） (2023-10-12T15:42:17Z)
• Reverse Engineering Self-Supervised Learning [17.720366509919167]
  自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
  論文  参考訳（メタデータ） (2023-05-24T23:15:28Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。