論文の概要: The Locality Trade-off in Masked Patch Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.33223v1
• Date: Fri, 23 Oct 2026 19:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.276146
• Title: The Locality Trade-off in Masked Patch Self-Distillation
• Title（参考訳）: 仮設パッチ自己蒸留における局所性トレードオフ
• Abstract要約: マスケパッチの自己蒸留は、現代のビジョン基盤モデルの重要な構成要素である。 このセマンティックな利点は、スケール依存の局所性コストと共存できることを示す。
• 参考スコア（独自算出の注目度）: 15.224047336990054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked patch self-distillation is a key component of modern vision foundation models, including DINOv2 and DINOv3, yet its implications for local visual information remain unclear. We show that its semantic benefits can coexist with a scale-dependent locality cost. Using two annotation-free diagnostics, we distinguish recoverable local appearance from spatial correspondence. In smaller models, adding iBOT substantially weakens patch correspondence while largely preserving appearance decodability. In larger models, correspondence improves, but pixel and texture evidence becomes less linearly accessible in deep features. Thus, scaling changes the form of the locality cost rather than uniformly eliminating it. Our analysis of Gram anchoring further shows that preserving patch relations does not guarantee simultaneous improvements in both properties. These findings motivate evaluating and designing visual representations around the complementary demands of semantic abstraction, appearance preservation, and spatial correspondence. Our code is available at https://github.com/winci-ai/jea.
• Abstract（参考訳）: マスケパッチの自己蒸留は、DINOv2やDINOv3を含む現代の視覚基盤モデルの鍵となる要素であるが、局所的な視覚情報に対する影響はいまだ不明である。 このセマンティックな利点は、スケール依存の局所性コストと共存できることを示す。 2つのアノテーションのない診断法を用いて,空間的対応から回復可能な局所的な外観を識別する。 より小型のモデルでは、iBOTの追加はパッチ対応を著しく弱め、外観の劣化を防いでいる。 より大きなモデルでは、対応性は向上するが、深い特徴においてピクセルやテクスチャのエビデンスが少なくなる。 したがって、スケーリングは局所コストの形式を均一に排除するのではなく、変化させる。 また,Gramアンカーの解析により,パッチ関係の保存が両特性の同時改善を保証していないことが示された。 これらの知見は、意味的抽象化、外観保存、空間的対応の相補的要求に関する視覚的表現の評価と設計を動機付けている。 私たちのコードはhttps://github.com/winci-ai/jea.comで公開されています。

関連論文リスト

• PAIQ: Patch-Aligned Semantic Injection via Residual Rotation [10.977493951022863]
  パッチ整合型セマンティックインジェクションフレームワークPAIQを紹介する。 PAIQは、ジョイントソースアロケーションを通じて補完的なSigLIP機能を集約し、アグリゲートベースの違いを注入する。 多様な言語のバックボーン全体にわたって、PAIQは判断された正確性において広い利得を得る。
  論文  参考訳（メタデータ） (2026-09-29T14:32:11Z)
• Screening Is Effective for Visual Recognition [17.159633200689225]
  Vision Transformer (ViT) は、画像パッチ間のグローバルな依存関係をモデリングするための強力なフレームワークとして広く利用されている。 本研究では,視覚認識にスクリーニング機構を拡張した新しい視覚モデルであるVisionScreenを提案する。
  論文  参考訳（メタデータ） (2026-07-15T16:12:48Z)
• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• SC2GAN: Rethinking Entanglement by Self-correcting Correlated GAN Space [16.040942072859075]
  ある属性の編集方向に従う遺伝子ネットワークは、他の属性と絡み合った変更をもたらす可能性がある。 本稿では,低密度の潜伏コードサンプルを元の潜伏空間に再プロジェクションすることで,SC$2$GANのアンタングル化を実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T14:42:32Z)
• UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision Transformer for Face Forgery Detection [52.91782218300844]
  そこで我々は、UIA-ViTと呼ばれるビジョン変換器に基づく教師なし不整合認識手法を提案する。 自己注意機構により、パッチ埋め込み間の注意マップは自然に一貫性関係を表現し、一貫性表現学習に適した視覚変換器となる。
  論文  参考訳（メタデータ） (2022-10-23T15:24:47Z)
• Patch-level Representation Learning for Self-supervised Vision Transformers [68.8862419248863]
  視覚変換器(ViT)は近年、より優れたアーキテクチャ選択として多くの注目を集めており、様々な視覚タスクにおいて畳み込みネットワークよりも優れています。 これに触発された私たちは、パッチレベルの表現をより良く学習するための、SelfPatchという、シンプルで効果的なビジュアルプリテキストタスクを設計しました。 我々は、既存のSSLメソッドの様々な視覚的タスクに対する性能を大幅に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-06-16T08:01:19Z)
• HM4: Hidden Markov Model with Memory Management for Visual Place Recognition [54.051025148533554]
  自律運転における視覚的位置認識のための隠れマルコフモデルを提案する。 我々のアルゴリズムはHM$4$と呼ばれ、時間的ルックアヘッドを利用して、有望な候補画像をパッシブストレージとアクティブメモリ間で転送する。 固定被覆領域に対して一定の時間と空間推定が可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-01T08:49:24Z)
• Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning [59.58381904522967]
  本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。 視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。 本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
  論文  参考訳（メタデータ） (2020-09-16T03:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。