論文の概要: Capturing Rich Behavior Representations: A Dynamic Action Semantic-Aware Graph Transformer for Video Captioning

• arxiv url: http://arxiv.org/abs/2502.13754v1
• Date: Wed, 19 Feb 2025 14:16:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:59:47.871933
• Title: Capturing Rich Behavior Representations: A Dynamic Action Semantic-Aware Graph Transformer for Video Captioning
• Title（参考訳）: リッチビヘイビア表現のキャプチャ:ビデオキャプション用動的アクションセマンティックグラフ変換器
• Authors: Caihua Liu, Xu Li, Wenjing Xue, Wei Tang, Xia Feng,
• Abstract要約: 既存のビデオキャプション手法は、単にオブジェクトの振舞いの浅いあるいは単純化した表現を提供するだけである。 本稿では,オブジェクトの振る舞いの本質を包括的に把握する動的アクション意味認識グラフ変換器を提案する。
• 参考スコア（独自算出の注目度）: 13.411096520754507
• License:
• Abstract: Existing video captioning methods merely provide shallow or simplistic representations of object behaviors, resulting in superficial and ambiguous descriptions. However, object behavior is dynamic and complex. To comprehensively capture the essence of object behavior, we propose a dynamic action semantic-aware graph transformer. Firstly, a multi-scale temporal modeling module is designed to flexibly learn long and short-term latent action features. It not only acquires latent action features across time scales, but also considers local latent action details, enhancing the coherence and sensitiveness of latent action representations. Secondly, a visual-action semantic aware module is proposed to adaptively capture semantic representations related to object behavior, enhancing the richness and accurateness of action representations. By harnessing the collaborative efforts of these two modules,we can acquire rich behavior representations to generate human-like natural descriptions. Finally, this rich behavior representations and object representations are used to construct a temporal objects-action graph, which is fed into the graph transformer to model the complex temporal dependencies between objects and actions. To avoid adding complexity in the inference phase, the behavioral knowledge of the objects will be distilled into a simple network through knowledge distillation. The experimental results on MSVD and MSR-VTT datasets demonstrate that the proposed method achieves significant performance improvements across multiple metrics.
• Abstract（参考訳）: 既存のビデオキャプション手法は、単にオブジェクトの振る舞いの浅いあるいは単純化された表現を提供し、表面的かつ曖昧な記述をもたらす。 しかし、オブジェクトの振舞いは動的で複雑である。 オブジェクトの振舞いの本質を包括的に把握するために,動的アクション・セマンティック・アウェアグラフ変換器を提案する。 第一に、マルチスケールの時間モデリングモジュールは、長期的かつ短期的な潜在的行動特徴を柔軟に学習するように設計されている。 時間スケールで潜在行動の特徴を取得するだけでなく、局所潜在行動の詳細も考慮し、潜在行動表現の一貫性と感度を高める。 次に、オブジェクトの振る舞いに関連する意味表現を適応的にキャプチャし、アクション表現の豊かさと正確性を高める視覚行動意味認識モジュールを提案する。 これら2つのモジュールの協調作業を活用することで、人間のような自然な記述を生成するためのリッチな行動表現を得ることができる。 最後に、このリッチな振る舞い表現とオブジェクト表現は、オブジェクトとアクションの間の複雑な時間的依存関係をモデル化するために、グラフトランスフォーマーに入力される時間的オブジェクト-アクショングラフを構築するために使用される。 推論フェーズに複雑さを追加するのを避けるために、オブジェクトの振る舞いの知識は知識の蒸留を通じて単純なネットワークに蒸留される。 MSVD と MSR-VTT のデータセットを用いた実験結果から,提案手法は複数の指標間で大幅な性能向上を実現することが示された。

関連論文リスト

• A Grammatical Compositional Model for Video Action Detection [24.546886938243393]
  典型的なAnd-Orグラフに基づく行動検出のための新しい文法合成モデル(GCM)を提案する。 本モデルは,文法モデルの構成性とDNNのリッチな特徴を表現する能力の両面を活用するために,階層的な動作の固有構造と潜時的関係を利用する。
  論文  参考訳（メタデータ） (2023-10-04T15:24:00Z)
• ACID: Action-Conditional Implicit Visual Dynamics for Deformable Object Manipulation [135.10594078615952]
  本稿では,体積変形可能なオブジェクトに対する動作条件の視覚力学モデルであるACIDを紹介する。 ベンチマークには17,000以上のアクション・トラジェクトリー、6種類のぬいぐるみと78種類の変種が含まれている。 我々のモデルは、幾何学、対応、力学の予測において最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-03-14T04:56:55Z)
• Slow-Fast Visual Tempo Learning for Video-based Action Recognition [78.3820439082979]
  アクション・ビジュアル・テンポ(Action visual tempo)は、アクションのダイナミクスと時間スケールを特徴付ける。 以前の方法は、複数のレートで生のビデオをサンプリングするか、階層的にバックボーンの特徴をサンプリングすることによって、視覚的テンポをキャプチャする。 単一層における低レベルバックボーン特徴からアクション・テンポを抽出するための時間相関モジュール(TCM)を提案する。
  論文  参考訳（メタデータ） (2022-02-24T14:20:04Z)
• Object-Region Video Transformers [100.23380634952083]
  本稿では,オブジェクト表現でトランスフォーマー映像層を拡張するエポbject中心のアプローチであるObject-Region Transformers Video(ORViT)を提案する。 ORViTブロックは2つのオブジェクトレベルのストリームで構成されています。 オブジェクト表現をトランスフォーマーアーキテクチャに組み込んだモデルの価値を実証し、全てのタスクにまたがってパフォーマンスを強く向上させ、検討する。
  論文  参考訳（メタデータ） (2021-10-13T17:51:46Z)
• HyperDynamics: Meta-Learning Object and Agent Dynamics with Hypernetworks [18.892883695539002]
  HyperDynamicsは、ニューラルネットワークモデルのパラメータを生成する動的メタ学習フレームワークである。 高次元の視覚観察でダイナミクスを学習することで、環境の変化に適応する既存のモデルを上回る性能を発揮します。 本手法は,個別に訓練された専門家の演奏に合致すると同時に,テスト時に未知の環境変動に対して十分に一般化できることを示す。
  論文  参考訳（メタデータ） (2021-03-17T04:48:43Z)
• Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
  本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。 高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
  論文  参考訳（メタデータ） (2021-01-16T23:44:09Z)
• Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
  画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。 我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
  論文  参考訳（メタデータ） (2021-01-07T07:33:38Z)
• Learning to Represent Action Values as a Hypergraph on the Action Vertices [17.811355496708728]
  行動値推定は強化学習法(RL)の重要な要素である。 多次元のアクション空間の構造を活用することが、アクションの優れた表現を学ぶための鍵となる要素であると推測する。 Atari 2600 ゲームや、離散化物理制御ベンチマークなど、無数の領域に対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2020-10-28T00:19:13Z)
• Inferring Temporal Compositions of Actions Using Probabilistic Automata [61.09176771931052]
  本稿では,動作の時間的構成を意味正規表現として表現し,確率的オートマトンを用いた推論フレームワークを提案する。 我々のアプローチは、長い範囲の複雑なアクティビティを、順序のないアトミックアクションのセットとして予測するか、自然言語文を使ってビデオを取得するという既存の研究とは異なる。
  論文  参考訳（メタデータ） (2020-04-28T00:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。