論文の概要: Interpreting the structure of multi-object representations in vision encoders

• arxiv url: http://arxiv.org/abs/2406.09067v3
• Date: Sun, 06 Apr 2025 13:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 01:50:56.186656
• Title: Interpreting the structure of multi-object representations in vision encoders
• Title（参考訳）: 視覚エンコーダにおける多対象表現の構造の解釈
• Authors: Tarun Khajuria, Braian Olmiro Dias, Marharyta Domnich, Jaan Aru,
• Abstract要約: 我々は、分類、大規模視覚言語モデル、自己教師付き手法に基づいて事前訓練された視覚エンコーダを評価する。 視覚エンコーダ内のトークンや層にオブジェクトワイズ表現がどのように分散されているかを検討する。 本研究は,対象物が事前学習対象物との関連性に応じて,対象物の表現に有意な差異を呈するものである。
• 参考スコア（独自算出の注目度）: 1.8749305679160366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we interpret the representations of multi-object scenes in vision encoders through the lens of structured representations. Structured representations allow modeling of individual objects distinctly and their flexible use based on the task context for both scene-level and object-specific tasks. These capabilities play a central role in human reasoning and generalization, allowing us to abstract away irrelevant details and focus on relevant information in a compact and usable form. We define structured representations as those that adhere to two specific properties: binding specific object information into discrete representation units and segregating object representations into separate sets of tokens to minimize cross-object entanglement. Based on these properties, we evaluated and compared image encoders pre-trained on classification (ViT), large vision-language models (CLIP, BLIP, FLAVA), and self-supervised methods (DINO, DINOv2). We examine the token representations by creating object-decoding tasks that measure the ability of specific tokens to capture individual objects in multi-object scenes from the COCO dataset. This analysis provides insights into how object-wise representations are distributed across tokens and layers within these vision encoders. Our findings highlight significant differences in the representation of objects depending on their relevance to the pre-training objective, with this effect particularly pronounced in the CLS token (often used for downstream tasks). Meanwhile, networks and layers that exhibit more structured representations retain better information about individual objects. To guide practical applications, we propose formal measures to quantify the two properties of structured representations, aiding in selecting and adapting vision encoders for downstream tasks.
• Abstract（参考訳）: 本研究では,視覚エンコーダにおける多目的シーンの表現を,構造化された表現のレンズを通して解釈する。 構造化表現は、シーンレベルとオブジェクト固有のタスクの両方のタスクコンテキストに基づいて、個々のオブジェクトのモデリングと柔軟な使用を可能にする。 これらの能力は、人間の推論と一般化において中心的な役割を担い、無関係な詳細を抽象化し、コンパクトで使用可能な形で関連情報に集中することができる。 特定のオブジェクト情報を離散表現単位に結合し、オブジェクト表現を別々のトークン集合に分離することで、オブジェクト間の絡み合いを最小限に抑える。 これらの特性に基づいて、分類(ViT)、大規模視覚言語モデル(CLIP、BLIP、FLAVA)、自己監督手法(DINO、DINOv2)に基づいて事前訓練された画像エンコーダの評価と比較を行った。 我々は,COCOデータセットからの複数オブジェクトシーンにおける個々のオブジェクトをキャプチャする特定のトークンの能力を計測するオブジェクトデコードタスクを作成することにより,トークン表現を検証した。 この分析は、視覚エンコーダ内のトークンや層にオブジェクトワイズ表現がどのように分散されているかについての洞察を提供する。 本研究は,CLSトークン(しばしば下流タスクに使用される)で顕著に発音される,事前学習対象との関連性に応じて,物体の表現に有意な差異が認められた。 一方、より構造化された表現を示すネットワークやレイヤは、個々のオブジェクトに関するより良い情報を保持する。 そこで本研究では,下流タスクにおける視覚エンコーダの選択と適応を支援するために,構造化表現の2つの特性を定量化するための公式な尺度を提案する。

関連論文リスト

• ZISVFM: Zero-Shot Object Instance Segmentation in Indoor Robotic Environments with Vision Foundation Models [10.858627659431928]
  サービスロボットは、機能を強化するために、未知のオブジェクトを効果的に認識し、セグメント化する必要がある。 従来の教師付き学習ベースのセグメンテーション技術は、広範な注釈付きデータセットを必要とする。 本稿では,セグメンテーションアプライスモデル (SAM) の強力なゼロショット能力と,自己監督型視覚変換器 (ViT) からの明示的な視覚表現を活用することで,UOISを解く新しいアプローチ (ZISVFM) を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:22:20Z)
• Distilling Spectral Graph for Object-Context Aware Open-Vocabulary Semantic Segmentation [47.047267066525265]
  画像にオブジェクトレベルの文脈知識を取り入れた新しいアプローチを導入する。 提案手法は,多種多様なデータセットにまたがる高い一般化性を有する最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-26T06:34:48Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  VLM(Vision-Language Models)は、様々な視覚タスクにまたがる顕著な能力を示す。 現在のVLMには基本的な認知能力がなく、コンテキストを考慮し、シーン内のオブジェクトをローカライズすることを学ぶ。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
  VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。 著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
  論文  参考訳（メタデータ） (2024-10-09T17:55:02Z)
• ClawMachine: Fetching Visual Tokens as An Entity for Referring and Grounding [67.63933036920012]
  プロキシエンコーディングやジオメトリエンコーディングを含む既存のメソッドには、オブジェクトの位置をエンコードするための追加構文が含まれている。 この研究はClawMachineを紹介し、視覚トークンを直接使用してエンティティに通知する新しい方法論を提供する。 ClawMachineはビジュアル参照とグラウンドを自動回帰形式に統合し、デコーダのみのアーキテクチャで学習する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• Neural Clustering based Visual Representation Learning [61.72646814537163]
  クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
  論文  参考訳（メタデータ） (2024-03-26T06:04:50Z)
• Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
  オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。 このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
  論文  参考訳（メタデータ） (2023-08-15T17:58:11Z)
• LLM2Loss: Leveraging Language Models for Explainable Model Diagnostics [5.33024001730262]
  我々は、失敗とバイアスのモデルパターンに関するセマンティックな洞察を提供するアプローチを提案する。 このような軽量モデルのアンサンブルを用いて,ブラックボックスモデルの性能に関する洞察を得られることを示す。
  論文  参考訳（メタデータ） (2023-05-04T23:54:37Z)
• Learning and generalization of compositional representations of visual scenes [2.960473840509733]
  オブジェクト属性の分散表現とベクトルシンボルアーキテクチャにおけるベクトル演算を用いてシーンの完全な構成記述を作成する。 シーン構成を制御するために、複数の、翻訳された、色付きMNIST桁からなる人工画像を使用する。 ディープネットワークの出力はVSA共振器ネットワークによって解釈され、オブジェクトの同一性やその他のオブジェクトの特性を抽出する。
  論文  参考訳（メタデータ） (2023-03-23T22:03:42Z)
• Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
  マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。 1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2022-12-27T09:13:19Z)
• On the robustness of self-supervised representations for multi-view object classification [0.0]
  インスタンス識別の目的に基づく自己教師型表現は、オブジェクトの視点や視点の変化に対してより堅牢なオブジェクトの表現に繋がることを示す。 自己監督型表現は、オブジェクトの視点に対してより堅牢であり、新しい視点からオブジェクトの認識を促進するオブジェクトに関するより関連する情報をエンコードしているように見える。
  論文  参考訳（メタデータ） (2022-07-27T17:24:55Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
  本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。 このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。 また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
  論文  参考訳（メタデータ） (2022-04-05T09:25:28Z)
• High Fidelity Visualization of What Your Self-Supervised Representation Knows About [22.982471878833362]
  本研究では,条件拡散に基づく生成モデル(RCDM)を用いて,自己教師付きモデルを用いて学習した表現を可視化する。 このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルとどのように同等かを示す。
  論文  参考訳（メタデータ） (2021-12-16T19:23:33Z)
• SIMONe: View-Invariant, Temporally-Abstracted Object Representations via Unsupervised Video Decomposition [69.90530987240899]
  この問題に対して教師なしの変分法を提案する。 我々のモデルは、RGBビデオ入力のみから2組の潜在表現を推論することを学ぶ。 これは、視点に依存しないアロセントリックな方法でオブジェクト属性を表現する。
  論文  参考訳（メタデータ） (2021-06-07T17:59:23Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• Look-into-Object: Self-supervised Structure Modeling for Object Recognition [71.68524003173219]
  我々は,自己スーパービジョンを取り入れた「対象」(具体的かつ内在的に対象構造をモデル化する)を提案する。 認識バックボーンは、より堅牢な表現学習のために大幅に拡張可能であることを示す。 提案手法は汎用オブジェクト認識(ImageNet)や細粒度オブジェクト認識タスク(CUB, Cars, Aircraft)など,多数のベンチマークにおいて大きなパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-03-31T12:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。