論文の概要: Exploring the Effectiveness of Object-Centric Representations in Visual Question Answering: Comparative Insights with Foundation Models

• arxiv url: http://arxiv.org/abs/2407.15589v2
• Date: Fri, 13 Sep 2024 10:47:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 22:48:00.997418
• Title: Exploring the Effectiveness of Object-Centric Representations in Visual Question Answering: Comparative Insights with Foundation Models
• Title（参考訳）: 視覚質問応答におけるオブジェクト中心表現の有効性の探索:基礎モデルとの比較
• Authors: Amir Mohammad Karimi Mamaghan, Samuele Papa, Karl Henrik Johansson, Stefan Bauer, Andrea Dittadi,
• Abstract要約: 下流視覚質問応答(VQA)における表現学習に関する実証的研究を行った。 我々はOCモデルと代替アプローチの利点とトレードオフを徹底的に検討する。
• 参考スコア（独自算出の注目度）: 24.579822095003685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Object-centric (OC) representations, which represent the state of a visual scene by modeling it as a composition of objects, have the potential to be used in various downstream tasks to achieve systematic compositional generalization and facilitate reasoning. However, these claims have not been thoroughly analyzed yet. Recently, foundation models have demonstrated unparalleled capabilities across diverse domains from language to computer vision, marking them as a potential cornerstone of future research for a multitude of computational tasks. In this paper, we conduct an extensive empirical study on representation learning for downstream Visual Question Answering (VQA), which requires an accurate compositional understanding of the scene. We thoroughly investigate the benefits and trade-offs of OC models and alternative approaches including large pre-trained foundation models on both synthetic and real-world data, and demonstrate a viable way to achieve the best of both worlds. The extensiveness of our study, encompassing over 800 downstream VQA models and 15 different types of upstream representations, also provides several additional insights that we believe will be of interest to the community at large.
• Abstract（参考訳）: オブジェクト中心(OC)表現は、オブジェクトの合成としてモデル化することで、視覚シーンの状態を表すものであり、様々な下流タスクにおいて、体系的な構成の一般化と推論の促進に利用することができる。 しかし、これらの主張はまだ完全には分析されていない。 近年、基礎モデルは言語からコンピュータビジョンまで様々な領域にまたがる非並列的な能力を実証し、様々な計算タスクの将来の研究の基盤としてマークしている。 本稿では,下流視覚質問応答(VQA)における表現学習に関する広範な実証的研究を行い,シーンの正確な構成的理解を必要とする。 我々は、OCモデルの利点とトレードオフを徹底的に検討し、合成データと実世界のデータの両方において、大規模な事前学習基礎モデルを含む代替アプローチについて検討し、両世界の長所を達成するための実行可能な方法を実証する。 800以上のダウンストリームVQAモデルと15種類のアップストリーム表現を含むこの研究の広範囲性は、コミュニティ全体にとって大きな関心を持つであろう、いくつかの洞察を与えてくれます。

関連論文リスト

• Zero-Shot Object-Centric Representation Learning [72.43369950684057]
  ゼロショット一般化のレンズによる現在の対象中心法について検討する。 8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。 多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-17T10:37:07Z)
• A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning [51.7818820745221]
  水中画像強調(UIE)はコンピュータビジョン研究において重要な課題である。 多数のUIEアルゴリズムが開発されているにもかかわらず、網羅的で体系的なレビューはいまだに欠落している。
  論文  参考訳（メタデータ） (2024-05-30T04:46:40Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Neural Clustering based Visual Representation Learning [61.72646814537163]
  クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
  論文  参考訳（メタデータ） (2024-03-26T06:04:50Z)
• One-Shot Open Affordance Learning with Foundation Models [54.15857111929812]
  私たちは、モデルがベースオブジェクトカテゴリ毎に1つの例でトレーニングされる、ワンショットのオープンアフォーダンスラーニング(OOAL)を紹介します。 本稿では,視覚的特徴と手頃なテキスト埋め込みとの整合性を高める,シンプルで効果的な設計の視覚言語フレームワークを提案する。 2つのアベイランスセグメンテーションのベンチマーク実験により、提案手法はトレーニングデータの1%未満で最先端のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-29T16:23:06Z)
• Unsupervised discovery of Interpretable Visual Concepts [0.0]
  モデルの決定を説明する2つの方法を提案し,グローバルな解釈可能性を高める。 咬合・感性分析(因果性を含む)にインスパイアされた1つの方法 別の方法は、クラス認識順序相関 (Class-Aware Order correlation, CAOC) と呼ばれる新しいメトリクスを用いて、最も重要な画像領域を世界規模で評価する。
  論文  参考訳（メタデータ） (2023-08-31T07:53:02Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。