論文の概要: OvDSGG: End-to-End Open-Vocabulary Dynamic Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2608.14835v1
• Date: Fri, 14 Aug 2026 19:12:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.099102
• Title: OvDSGG: End-to-End Open-Vocabulary Dynamic Scene Graph Generation
• Title（参考訳）: OvDSGG: エンドツーエンドのオープン語彙動的シーングラフ生成
• Abstract要約: オープン語彙DSGGの最初のエンドツーエンドフレームワークであるOvDSGGを紹介する。 本稿では,Action Genomeを応用した厳密なオープン語彙DSGGベンチマークを提案する。 OvDSGGはすべてのメトリクスでオープン語彙ベースラインを著しく上回り、ゼロショットのRecall@K$スコアは次のベストベースラインよりも高い。
• 参考スコア（独自算出の注目度）: 36.703819424111806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic scene graphs (DSGs) capture spatio-temporal interactions across videos as $\langle$subject, predicate, object$\rangle$ triplets, and underpin downstream tasks such as video captioning, video question answering, and action analysis. However, end-to-end dynamic scene graph generation (DSGG) methods are closed-set: they recognize only objects and predicates from a fixed training vocabulary and struggle with the long-tailed distribution of rare concepts, severely limiting their real-world applicability. Existing open-vocabulary models typically inherit pretrained large language models, resulting in multi-stage training and inference with substantial cost. We introduce OvDSGG, the first end-to-end framework for open-vocabulary DSGG. OvDSGG builds on top of an open-vocabulary Spatial Backbone and a Temporal Backbone; we further propose a Triplet Feature Extraction Module that bridges them, and a Visual-Language Alignment Module that preserves open-vocabulary recognition by learning an adaptive decision boundary in the joint visual-language feature space, without expensive knowledge distillation in existing methods. We further introduce a rigorous open-vocabulary DSGG benchmark adapted from Action Genome, with disjoint Base/Novel splits for both objects and predicates. OvDSGG significantly outperforms open-vocabulary baselines across all metrics, with zero-shot Recall@$K$ scores 10.0--20.4 percentage point higher than the next-best baseline, while on closed-set DSGG remaining competitive with state-of-the-art models. Code and benchmark are publicly available at https://github.com/jhelsby/OvDSGG/.
• Abstract（参考訳）: ダイナミックシーングラフ(DSG)は、ビデオ間の時空間的相互作用を$\langle$subject, predicate, object$\rangle$ tripletとしてキャプチャし、ビデオキャプション、ビデオ質問応答、アクション分析などの下流タスクの基盤となる。 しかし、エンド・ツー・エンドの動的シーングラフ生成(DSGG)手法は、固定されたトレーニング語彙からオブジェクトと述語のみを認識し、希少な概念の長期分布に苦慮し、現実の応用性を著しく制限する、クローズドセットである。 既存のオープン語彙モデルは、通常、事前訓練された大きな言語モデルを継承する。 オープン語彙DSGGの最初のエンドツーエンドフレームワークであるOvDSGGを紹介する。 OvDSGGは、オープン語彙空間のバックボーンとテンポラルバックボーンの上に構築されており、それらをブリッジするトリプレット特徴抽出モジュールと、既存の方法では高価な知識の蒸留をすることなく、共同視覚言語の特徴空間における適応的決定境界を学習することにより、オープン語彙認識を保存するビジュアル言語アライメントモジュールをさらに提案する。 我々はさらに、Action Genomeを応用した厳密なオープン語彙DSGGベンチマークを導入する。 OvDSGGはすべての指標でオープンボキャブラリベースラインを著しく上回り、ゼロショットのRecall@$K$スコアは10.0-20.4ポイント、クローズドセットのDSGGは最先端モデルと競合する。 コードとベンチマークはhttps://github.com/jhelsby/OvDSGG/で公開されている。

関連論文リスト

• VOST-SGG: VLM-Aided One-Stage Spatio-Temporal Scene Graph Generation [18.15310805625469]
  VOST-SGGはVLMが支援するワンステージST-SGGフレームワークであり、視覚言語モデルの常識推論機能を統合する。 述語分類を改善するために,視覚,テキスト,空間的手がかりを融合したマルチモーダル特徴バンクを提案する。 提案手法は,ST-SGGにおけるVLM支援型セマンティックプリエントとマルチモーダル機能の統合の有効性を検証し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-12-05T08:34:06Z)
• Open World Scene Graph Generation using Vision Language Models [7.024230124913843]
  SGG(Scene-Graph Generation)は、画像中の物体を認識し、その正当な対関係を蒸留する。 オープンワールドSGG(Open-World SGG)は、視覚言語モデル(VLM)の事前訓練された知識に直接アクセスする、トレーニング不要で、効率的で、モデルに依存しないフレームワークである。 提案手法は,マルチモーダルプロンプト,埋め込みアライメント,および軽量なペアリファインメント戦略を組み合わせることで,未知のオブジェクト語彙や関係集合に対する推論を可能にする。
  論文  参考訳（メタデータ） (2025-06-09T19:59:05Z)
• PRISM-0: A Predicate-Rich Scene Graph Generation Framework for Zero-Shot Open-Vocabulary Tasks [51.31903029903904]
  SGG(Scene Graphs Generation)では、オブジェクトノードの形式で視覚入力から構造化された表現を抽出し、それらを接続する。 PRISM-0はゼロショットオープン語彙SGGのためのフレームワークで、ボトムアップアプローチで基礎モデルをブートストラップする。 PRIMS-0は、イメージキャプションやSentence-to-Graph Retrievalのような下流タスクを改善する意味のあるグラフを生成する。
  論文  参考訳（メタデータ） (2025-04-01T14:29:51Z)
• Expanding Scene Graph Boundaries: Fully Open-vocabulary Scene Graph Generation via Visual-Concept Alignment and Retention [69.36723767339001]
  SGG(Scene Graph Generation)は、多くのコンピュータビジョンアプリケーションにおいて重要な構造化された表現を提供する。 我々はOvSGTRという名前の統一フレームワークを全体的視点から完全にオープンな語彙SGGに向けて提案する。 関係付きオープン語彙SGGのより困難な設定のために、提案手法は関係対応型事前学習を統合する。
  論文  参考訳（メタデータ） (2023-11-18T06:49:17Z)
• Visually-Prompted Language Model for Fine-Grained Scene Graph Generation in an Open World [67.03968403301143]
  SGG(Scene Graph Generation)は、視覚理解のための画像中の主観的、述語的、対象的な関係を抽出することを目的としている。 既存の再バランス戦略は、以前のルールを通じてそれを処理しようとするが、まだ事前に定義された条件に制限されている。 そこで我々は,多種多様な粒度の述語を生成するために,視覚的にプロンプトされた言語モデルを学習するクロスモーダルプレディケイトブースティング(CaCao)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-23T13:06:38Z)
• Towards Open-vocabulary Scene Graph Generation with Prompt-based Finetuning [84.39787427288525]
  シーングラフ生成(SGG)は、画像内のオブジェクト間の視覚的関係を検出するための基本的なタスクである。 オープンボキャブラリシーングラフ生成は,モデルが一連のベースオブジェクトクラスでトレーニングされる,斬新で現実的で困難な設定である。 我々のメソッドは、既存のメソッドが処理できない、完全に見えないオブジェクトクラスに対する推論をサポートすることができる。
  論文  参考訳（メタデータ） (2022-08-17T09:05:38Z)
• Weakly Supervised Visual Semantic Parsing [49.69377653925448]
  SGG(Scene Graph Generation)は、画像からエンティティ、述語、それらの意味構造を抽出することを目的としている。 既存のSGGメソッドでは、トレーニングのために何百万もの手動アノテーション付きバウンディングボックスが必要である。 本稿では,ビジュアルセマンティック・パーシング,VSPNet,グラフベースの弱教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-01-08T03:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。