論文の概要: Unsupervised Semantic Segmentation Facilitates Model Understanding

• arxiv url: http://arxiv.org/abs/2605.29691v1
• Date: Thu, 28 May 2026 09:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.160758
• Title: Unsupervised Semantic Segmentation Facilitates Model Understanding
• Title（参考訳）: 教師なしセマンティックセマンティックセグメンテーションはモデル理解を促進する
• Authors: Xiaoyan Yu, Lisa Mais, Jannik Franzen, Peter Hirsch, Nick Lechtenbörger, Andreas Mardt, Dagmar Kainmüller,
• Abstract要約: 自己教師型学習(SSL)は視覚変換器(ViT)の多様な景観を生み出している 本稿では, モデル理解をより分かりやすく, 直感的にするための, シンプルかつ容易に解釈可能な可視化プロトコルを提案する。 我々は,DINOv3-Largeモデルトークンの強い境界アーティファクトを含む,異なる位置バイアスとスケーリング行動に関する新たな知見を得た。
• 参考スコア（独自算出の注目度）: 5.902216784679335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has produced a diverse landscape of vision transformers (ViTs) whose pretrained representations support a wide range of downstream tasks. Towards a better understanding of these models, a body of work has assessed the mechanics of their self-attention as well as the types of information captured across their representations, revealing, for example, stark differences between models trained with contrastive learning (CL) and masked image modeling (MIM). However, these advances in model understanding have not yet fully permeated the broader community, where insights specific to CL models are sometimes generalized to MIM models. To make model understanding straightforward and intuitive for a broad audience, we propose a simple and easily interpretable visualization protocol. Our protocol is based on visualizing unsupervised semantic segmentation results, yet our goal is not to maximize segmentation performance. Instead, it allows us to convey model behaviors that consistently emerge across images. Benchmarking a diverse set of SSL models across layers and representations, we obtain novel insights into distinct positional biases and scaling behaviors, including strong boundary artifacts in DINOv3-Large model tokens. These insights complement and help communicate a range of previous findings. Our protocol further enables a clear visual distinction between positional effects and the closely related but distinct locality bias, which has been studied much more extensively in the literature. The protocol is publicly available on GitHub and we believe it will catalyze further model understanding for a broad community.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、様々な視覚変換器(ViT)の風景を生み出し、事前訓練された表現は幅広い下流タスクをサポートする。 これらのモデルをよりよく理解するために、研究機関は、自己意識の力学と、それらの表現全体で捉えた情報のタイプを評価し、例えば、対照的学習(CL)で訓練されたモデルとマスク画像モデリング(MIM)で訓練されたモデルの違いを明らかにした。 しかし、モデル理解のこれらの進歩は、CLモデルに特有の洞察がMIMモデルに一般化されるような、より広範なコミュニティにはまだ浸透していない。 モデル理解をより分かりやすく直感的にするために,簡易かつ容易に解釈可能な可視化プロトコルを提案する。 我々のプロトコルは、教師なしセマンティックセマンティクス結果の可視化に基づいているが、セマンティクス性能の最大化は目標としていない。 代わりに、画像全体に一貫して現れるモデル行動を伝えることができます。 DINOv3-Largeモデルトークンの強い境界アーティファクトを含む,異なる位置バイアスとスケーリング行動に関する新たな洞察を得る。 これらの洞察は、過去の発見を補完し、伝達するのに役立ちます。 また,本プロトコルにより,位置効果と近縁な局所性バイアスの明確な視覚的区別が可能となり,より広範囲に研究されている。 このプロトコルはGitHubで公開されており、幅広いコミュニティのさらなるモデル理解を促進するだろうと考えています。

関連論文リスト

• Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
  隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。 これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。 また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
  論文  参考訳（メタデータ） (2025-01-06T13:37:13Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• High Fidelity Visualization of What Your Self-Supervised Representation Knows About [22.982471878833362]
  本研究では,条件拡散に基づく生成モデル(RCDM)を用いて,自己教師付きモデルを用いて学習した表現を可視化する。 このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルとどのように同等かを示す。
  論文  参考訳（メタデータ） (2021-12-16T19:23:33Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。