論文の概要: How Can Objects Help Video-Language Understanding?

• arxiv url: http://arxiv.org/abs/2504.07454v1
• Date: Thu, 10 Apr 2025 04:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:20:54.265736
• Title: How Can Objects Help Video-Language Understanding?
• Title（参考訳）: オブジェクトはビデオ言語を理解するのにどのように役立つのか?
• Authors: Zitian Tang, Shijie Wang, Junho Cho, Jaewook Yoo, Chen Sun,
• Abstract要約: MLLMにおけるビデオ言語理解にオブジェクトはどのように役立つのか? 具体的には,表現表現性と統合難易度とのトレードオフについて検討する。 我々の発見は、認識モジュールをMLLM設計に明示的に統合する研究をコミュニティに促す可能性がある。
• 参考スコア（独自算出の注目度）: 16.63183488540909
• License:
• Abstract: How multimodal large language models (MLLMs) perceive the visual world remains a mystery. To one extreme, object and relation modeling may be implicitly implemented with inductive biases, for example by treating objects as tokens. To the other extreme, empirical results reveal the surprising finding that simply performing visual captioning, which tends to ignore spatial configuration of the objects, serves as a strong baseline for video understanding. We aim to answer the question: how can objects help video-language understanding in MLLMs? We tackle the question from the object representation and adaptation perspectives. Specifically, we investigate the trade-off between representation expressiveness (e.g., distributed versus symbolic) and integration difficulty (e.g., data-efficiency when learning the adapters). Through extensive evaluations on five video question answering datasets, we confirm that explicit integration of object-centric representation remains necessary, and the symbolic objects can be most easily integrated while being performant for question answering. We hope our findings can encourage the community to explore the explicit integration of perception modules into MLLM design. Our code and models will be publicly released.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)が視覚世界をどのように知覚するかは謎のままである。 極端に言えば、オブジェクトと関係モデリングは、例えばオブジェクトをトークンとして扱うことで、帰納的バイアスで暗黙的に実装することができる。 一方, 視覚的キャプションは, 物体の空間的構成を無視する傾向があり, 映像理解の強力なベースラインとして機能する。 MLLMにおけるビデオ言語理解にオブジェクトはどのように役立つのか? 対象表現と適応の観点から問題に取り組む。 具体的には、表現表現性(例えば、分散対シンボル)と統合困難(例えば、アダプタを学習する際のデータ効率)のトレードオフについて検討する。 5つのビデオ質問応答データセットの広範囲な評価を通じて、対象中心表現の明示的な統合が引き続き必要であり、そのシンボルオブジェクトは質問応答の実行中に最も容易に統合できることを確認した。 MLLM設計への認識モジュールの明示的な統合をコミュニティが探求することを願っている。 私たちのコードとモデルは公開されます。

関連論文リスト

• Help Me Identify: Is an LLM+VQA System All We Need to Identify Visual Concepts? [62.984473889987605]
  本稿では,大規模言語モデルとVQA(Visual Question Answering)システムを活用した,視覚概念学習のためのゼロショットフレームワークを提案する。 VQAシステムに問い合わせ画像とともにこれらの質問を行い、回答を集約し、テスト画像中のオブジェクトの有無を判定する。 実験では,既存のゼロショット視覚分類法や少数ショット概念学習手法と同等の性能を示した。
  論文  参考訳（メタデータ） (2024-10-17T15:16:10Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• ClawMachine: Learning to Fetch Visual Tokens for Referential Comprehension [71.03445074045092]
  我々はClawMachineを提案し、視覚トークンのグループのトークン集合を用いて各エンティティに明示的に通知する新しい方法論を提案する。 追加構文を用いることなく視覚的参照タスクのプロンプトと応答を統一する手法を提案する。 ClawMachineは、高い効率でシーンレベルおよび参照理解タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• 1st Place Solution for MOSE Track in CVPR 2024 PVUW Workshop: Complex Video Object Segmentation [72.54357831350762]
  本稿では,ビデオオブジェクトのセグメンテーションモデルを提案する。 我々は大規模ビデオオブジェクトセグメンテーションデータセットを用いてモデルを訓練した。 我々のモデルは、複雑なビデオオブジェクトチャレンジのテストセットで1位(textbf84.45%)を達成した。
  論文  参考訳（メタデータ） (2024-06-07T03:13:46Z)
• OSCaR: Object State Captioning and State Change Representation [52.13461424520107]
  本稿では,OSCaR(Object State Captioning and State Change Representation)データセットとベンチマークを紹介する。 OSCaRは14,084の注釈付きビデオセグメントで構成され、様々なエゴセントリックなビデオコレクションから1,000近いユニークなオブジェクトが集められている。 マルチモーダル大言語モデル(MLLM)を評価するための新しいテストベッドを設定する。
  論文  参考訳（メタデータ） (2024-02-27T01:48:19Z)
• Towards reporting bias in visual-language datasets: bimodal augmentation by decoupling object-attribute association [23.06058982328083]
  視覚言語データセットにおけるレポートバイアスの存在に焦点をあてる。 このバイアスを軽減するために,バイモーダル拡張(BiAug)アプローチを提案する。 BiAugは、リッチなオブジェクト-属性のペアリングで視覚言語例を合成し、クロスモーダルなハードネガティブを構築する。
  論文  参考訳（メタデータ） (2023-10-02T16:48:50Z)
• Object-Centric Representation Learning for Video Question Answering [27.979053252431306]
  ビデオ回答(Video QA)は、人間のようなインテリジェントな行動のための強力なテストベッドを提供します。 このタスクは、処理、言語理解、抽象概念を具体的なビジュアルアーティファクトに結合する新しい機能を必要とする。 本稿では,映像をオブジェクトのリレーショナルグラフに変換するための新しいクエリ誘導表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-12T02:37:20Z)
• ClawCraneNet: Leveraging Object-level Relation for Text-based Video Segmentation [47.7867284770227]
  テキストベースのビデオセグメンテーションは、ビデオ内の自然言語参照オブジェクトをセグメンテーションする難しいタスクである。 言語指導でオブジェクトを人間に分割する方法を模倣することで、新しいトップダウンアプローチを導入する。 我々の手法は最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2021-03-19T09:31:08Z)
• Language-Mediated, Object-Centric Representation Learning [21.667413971464455]
  我々はLORL(Language-mediated, Object-centric Representation Learning)を提案する。 LORLは、視覚と言語から乱れたオブジェクト中心のシーン表現を学習するためのパラダイムである。 言語に依存しない様々な教師なしセグメンテーションアルゴリズムと統合できます。
  論文  参考訳（メタデータ） (2020-12-31T18:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。