論文の概要: What can Off-the-Shelves Large Multi-Modal Models do for Dynamic Scene Graph Generation?

• arxiv url: http://arxiv.org/abs/2503.15846v1
• Date: Thu, 20 Mar 2025 04:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:34:10.874316
• Title: What can Off-the-Shelves Large Multi-Modal Models do for Dynamic Scene Graph Generation?
• Title（参考訳）: 大規模マルチモーダルモデルでは動的シーングラフ生成に何ができるか?
• Authors: Xuanming Cui, Jaiminkumar Ashokbhai Bhoi, Chionh Wei Peng, Adriel Kuek, Ser Nam Lim,
• Abstract要約: ビデオ用の動的シーングラフ生成(DSGG)はコンピュータビジョンにおいて難しい課題である。 予測されたシーングラフを概観し、既存のDSGG法における3つの重要な問題を発見する。 単純なデコーダのみの構造を持つLMMは、ステート・オブ・ザ・アート・シーングラフ生成器に変換可能であることを示す。
• 参考スコア（独自算出の注目度）: 30.685102474291046
• License:
• Abstract: Dynamic Scene Graph Generation (DSGG) for videos is a challenging task in computer vision. While existing approaches often focus on sophisticated architectural design and solely use recall during evaluation, we take a closer look at their predicted scene graphs and discover three critical issues with existing DSGG methods: severe precision-recall trade-off, lack of awareness on triplet importance, and inappropriate evaluation protocols. On the other hand, recent advances of Large Multimodal Models (LMMs) have shown great capabilities in video understanding, yet they have not been tested on fine-grained, frame-wise understanding tasks like DSGG. In this work, we conduct the first systematic analysis of Video LMMs for performing DSGG. Without relying on sophisticated architectural design, we show that LMMs with simple decoder-only structure can be turned into State-of-the-Art scene graph generators that effectively overcome the aforementioned issues, while requiring little finetuning (5-10% training data).
• Abstract（参考訳）: ビデオのための動的シーングラフ生成(DSGG)はコンピュータビジョンにおいて難しい課題である。 既存のアプローチは、しばしば高度なアーキテクチャ設計に焦点を合わせ、評価中にのみリコールを使用するが、予測されたシーングラフを詳しく見て、既存のDSGG手法における3つの重要な問題を見つけ出す: 高精度リコールトレードオフ、三重項の重要性に対する認識の欠如、不適切な評価プロトコル。 一方、近年のLMM(Large Multimodal Models)の進歩は、ビデオ理解において優れた能力を示しているが、DSGGのようなきめ細かなフレーム単位の理解タスクではテストされていない。 本研究では,DSGGを実現するためのビデオLMMを初めて体系的に解析する。 高度なアーキテクチャ設計を頼らずに、単純なデコーダのみの構造を持つLMMを、前述の問題を効果的に克服し、微調整をほとんど必要とせず(5～10%のトレーニングデータ)、ステート・オブ・ザ・アート・シーングラフ生成器に変換できることが示される。

関連論文リスト

• Understanding Long Videos via LLM-Powered Entity Relation Graphs [51.13422967711056]
  GraphVideoAgentは、ビデオシーケンスを通して視覚的エンティティ間の進化する関係をマップし、監視するフレームワークである。 当社の手法は,業界ベンチマークと比較した場合,顕著な効果を示す。
  論文  参考訳（メタデータ） (2025-01-27T10:57:24Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• MissionGNN: Hierarchical Multimodal GNN-based Weakly Supervised Video Anomaly Recognition with Mission-Specific Knowledge Graph Generation [5.0923114224599555]
  本稿では,新しい階層グラフニューラルネットワーク(GNN)モデルであるMissionGNNを紹介する。 提案手法は,大規模マルチモーダルモデル上での重勾配計算を回避し,従来の手法の限界を回避する。 我々のモデルは,従来のセグメンテーションベースやマルチモーダルアプローチの制約を伴わずに,リアルタイムビデオ解析のための実用的で効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-27T01:09:07Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• CogCoM: A Visual Language Model with Chain-of-Manipulations Reasoning [61.21923643289266]
  カオス・オブ・マニピュレーション(Chain of Manipulations)は、視覚言語モデル(Vision-Language Models)が、エビデンスを段階的に解決するメカニズムである。 トレーニング後、モデルは外部ツールを介さずに、本質的な操作(グラウンド、ズームインなど)を積極的に行うことで、様々な視覚的問題を解決することができる。 トレーニングされたモデルである textbfCogCoM は、4つのカテゴリの9つのベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-06T18:43:48Z)
• Dysen-VDM: Empowering Dynamics-aware Text-to-Video Diffusion with LLMs [112.39389727164594]
  テキスト・ツー・ビデオ(T2V)合成は,最近出現した拡散モデル (DM) が,過去のアプローチよりも有望な性能を示したコミュニティで注目を集めている。 既存の最先端のDMは高精細なビデオ生成を実現する能力があるが、ビデオ合成の要点である時間力学モデリングに関して重要な制限(例えば、アクション発生障害、粗雑なビデオ運動)に悩まされる。 本研究では,高品位T2V生成のためのDMの映像ダイナミックスに対する意識向上について検討する。
  論文  参考訳（メタデータ） (2023-08-26T08:31:48Z)
• Look, Remember and Reason: Grounded reasoning in videos with language models [5.3445140425713245]
  マルチテンポラル言語モデル(LM)は、最近ビデオ上の高レベル推論タスクにおいて有望な性能を示した。 オブジェクト検出,再識別,追跡など,低レベルなサロゲートタスクに対するLMエンドツーエンドのトレーニングを提案し,低レベルな視覚能力を備えたモデルを実現する。 我々は、ACRE、CATER、Some-Else、STARデータセットからの多様な視覚的推論タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-06-30T16:31:14Z)
• Unbiased Scene Graph Generation in Videos [36.889659781604564]
  TEMPURA: temporal consistency and Memory-guided UnceRtainty Attenuation for unbiased dynamic SGG。 TEMPURAはトランスフォーマーシーケンスモデリングによってオブジェクトレベルの時間的整合性を採用し、バイアスのない関係表現を合成することを学ぶ。 提案手法は,既存手法に比べて大きな性能向上(場合によっては最大10%)を達成している。
  論文  参考訳（メタデータ） (2023-04-03T06:10:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。