論文の概要: How structured are the representations in transformer-based vision encoders? An analysis of multi-object representations in vision-language models

• arxiv url: http://arxiv.org/abs/2406.09067v2
• Date: Tue, 18 Jun 2024 12:27:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 01:05:59.616094
• Title: How structured are the representations in transformer-based vision encoders? An analysis of multi-object representations in vision-language models
• Title（参考訳）: 変換器を用いた視覚エンコーダにおける表現はどの程度構造化されているか? 視覚言語モデルにおける多目的表現の分析
• Authors: Tarun Khajuria, Braian Olmiro Dias, Jaan Aru,
• Abstract要約: そのような抽象表現の極端な形は記号である。 この研究は、視覚エンコーダにおけるそのような構造化された表現の状態を推定する。 マルチオブジェクトシーンにおける基本的な下流タスクにおいて、これらのモデルの障害モードを引き起こすネットワークダイナミクスを示す。
• 参考スコア（独自算出の注目度）: 2.048226951354646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forming and using symbol-like structured representations for reasoning has been considered essential for generalising over novel inputs. The primary tool that allows generalisation outside training data distribution is the ability to abstract away irrelevant information into a compact form relevant to the task. An extreme form of such abstract representations is symbols. Humans make use of symbols to bind information while abstracting away irrelevant parts to utilise the information consistently and meaningfully. This work estimates the state of such structured representations in vision encoders. Specifically, we evaluate image encoders in large vision-language pre-trained models to address the question of which desirable properties their representations lack by applying the criteria of symbolic structured reasoning described for LLMs to the image models. We test the representation space of image encoders like VIT, BLIP, CLIP, and FLAVA to characterise the distribution of the object representations in these models. In particular, we create decoding tasks using multi-object scenes from the COCO dataset, relating the token space to its input content for various objects in the scene. We use these tasks to characterise the network's token and layer-wise information modelling. Our analysis highlights that the CLS token, used for the downstream task, only focuses on a few objects necessary for the trained downstream task. Still, other individual objects are well-modelled separately by the tokens in the network originating from those objects. We further observed a widespread distribution of scene information. This demonstrates that information is far more entangled in tokens than optimal for representing objects similar to symbols. Given these symbolic properties, we show the network dynamics that cause failure modes of these models on basic downstream tasks in a multi-object scene.
• Abstract（参考訳）: 記号のような構造表現を推論に用いたり、用いたりすることは、新しい入力を一般化するのに不可欠であると考えられている。 トレーニングデータ配布外の一般化を可能にする主要なツールは、無関係な情報をタスクに関連するコンパクトな形式に抽象化する能力である。 そのような抽象表現の極端な形は記号である。 人間は、情報を一貫して有意義に活用するために無関係な部分を抽象化しながら、情報をバインドするためにシンボルを利用する。 この研究は、視覚エンコーダにおけるそのような構造化された表現の状態を推定する。 具体的には,LLMに記述された記号的構造的推論の基準を画像モデルに適用することにより,視覚言語による事前学習モデルにおける画像エンコーダの評価を行い,どの表現に望ましい特性が欠けているかという問題に対処する。 VIT,BLIP,CLIP,FLAVAなどの画像エンコーダの表現空間を検証し,これらのモデルにおけるオブジェクト表現の分布を特徴付ける。 特に,COCOデータセットから多目的シーンを用いてデコードタスクを作成し,トークン空間をシーン内のさまざまなオブジェクトの入力内容に関連付ける。 これらのタスクを使用して、ネットワークのトークンとレイヤワイド情報モデリングを特徴付ける。 我々の分析では、ダウンストリームタスクに使用されるCLSトークンは、トレーニングされたダウンストリームタスクに必要ないくつかのオブジェクトのみに焦点を当てている。 それでも、他の個々のオブジェクトは、それらのオブジェクトから派生したネットワーク内のトークンによって、別々にモデル化されている。 さらに,シーン情報の広範分布も観察した。 これは、情報はシンボルに似たオブジェクトを表現するのに最適なものよりもトークンでずっと絡み合っていることを示している。 これらのシンボル特性を考慮に入れれば、マルチオブジェクトシーンにおける基本的な下流タスクにおいて、これらのモデルの障害モードを引き起こすネットワークダイナミクスを示す。

関連論文リスト

• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  VLM(Vision-Language Models)は、様々な視覚タスクにまたがる顕著な能力を示す。 現在のVLMには基本的な認知能力がなく、コンテキストを考慮し、シーン内のオブジェクトをローカライズすることを学ぶ。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
  VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。 著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
  論文  参考訳（メタデータ） (2024-10-09T17:55:02Z)
• ClawMachine: Fetching Visual Tokens as An Entity for Referring and Grounding [67.63933036920012]
  プロキシエンコーディングやジオメトリエンコーディングを含む既存のメソッドには、オブジェクトの位置をエンコードするための追加構文が含まれている。 この研究はClawMachineを紹介し、視覚トークンを直接使用してエンティティに通知する新しい方法論を提供する。 ClawMachineはビジュアル参照とグラウンドを自動回帰形式に統合し、デコーダのみのアーキテクチャで学習する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• Neural Clustering based Visual Representation Learning [61.72646814537163]
  クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
  論文  参考訳（メタデータ） (2024-03-26T06:04:50Z)
• Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
  オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。 このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
  論文  参考訳（メタデータ） (2023-08-15T17:58:11Z)
• LLM2Loss: Leveraging Language Models for Explainable Model Diagnostics [5.33024001730262]
  我々は、失敗とバイアスのモデルパターンに関するセマンティックな洞察を提供するアプローチを提案する。 このような軽量モデルのアンサンブルを用いて,ブラックボックスモデルの性能に関する洞察を得られることを示す。
  論文  参考訳（メタデータ） (2023-05-04T23:54:37Z)
• Learning and generalization of compositional representations of visual scenes [2.960473840509733]
  オブジェクト属性の分散表現とベクトルシンボルアーキテクチャにおけるベクトル演算を用いてシーンの完全な構成記述を作成する。 シーン構成を制御するために、複数の、翻訳された、色付きMNIST桁からなる人工画像を使用する。 ディープネットワークの出力はVSA共振器ネットワークによって解釈され、オブジェクトの同一性やその他のオブジェクトの特性を抽出する。
  論文  参考訳（メタデータ） (2023-03-23T22:03:42Z)
• High Fidelity Visualization of What Your Self-Supervised Representation Knows About [22.982471878833362]
  本研究では,条件拡散に基づく生成モデル(RCDM)を用いて,自己教師付きモデルを用いて学習した表現を可視化する。 このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルとどのように同等かを示す。
  論文  参考訳（メタデータ） (2021-12-16T19:23:33Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。