論文の概要: Knowledge-Guided Short-Context Action Anticipation in Human-Centric Videos

• arxiv url: http://arxiv.org/abs/2309.05943v1
• Date: Tue, 12 Sep 2023 03:48:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 14:33:41.580083
• Title: Knowledge-Guided Short-Context Action Anticipation in Human-Centric Videos
• Title（参考訳）: 人間中心のビデオにおける知識誘導型短文脈行動予測
• Authors: Sarthak Bhagat, Simon Stepputtis, Joseph Campbell, Katia Sycara
• Abstract要約: この研究は、特に短いビデオセグメントを使用して、長期的な人間の行動を予測することに焦点を当てている。 本稿では,ビデオセグメントにおける行動予測のためのシンボル知識グラフを用いたトランスフォーマーネットワークを提案する。 提案手法は,ショートビデオコンテクストを用いた長期的行動予測の最先端手法を最大9%向上させる。
• 参考スコア（独自算出の注目度）: 6.616358260575894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work focuses on anticipating long-term human actions, particularly using short video segments, which can speed up editing workflows through improved suggestions while fostering creativity by suggesting narratives. To this end, we imbue a transformer network with a symbolic knowledge graph for action anticipation in video segments by boosting certain aspects of the transformer's attention mechanism at run-time. Demonstrated on two benchmark datasets, Breakfast and 50Salads, our approach outperforms current state-of-the-art methods for long-term action anticipation using short video context by up to 9%.
• Abstract（参考訳）: この研究は、長期の人間の行動、特に短いビデオセグメントの使用を予測し、より優れた提案を通じて編集ワークフローをスピードアップし、物語を提示することで創造性を育むことに焦点を当てている。 そこで本研究では,映像セグメントにおける動作予測のための記号的知識グラフを備えたトランスフォーマネットワークを,トランスフォーマの注意機構の特定の側面を実行時に高めることにより実現する。 Breakfastと50Saladsの2つのベンチマークデータセットを実証し、短いビデオコンテキストを使用した長期的なアクション予測のための最先端の手法を最大9%向上させた。

関連論文リスト

• HAVANA: Hierarchical stochastic neighbor embedding for Accelerated Video ANnotAtions [59.71751978599567]
  本稿では,時間的ビデオアノテーションプロセスの高速化のために,事前抽出した特徴量と次元減少量を用いた新しいアノテーションパイプラインを提案する。 従来のリニア手法と比較して,アノテーションの取り組みが大幅に改善され,12時間以上のビデオのアノテートに要するクリック数が10倍以上に短縮された。
  論文  参考訳（メタデータ） (2024-09-16T18:15:38Z)
• MEGA: Multimodal Alignment Aggregation and Distillation For Cinematic Video Segmentation [10.82074185158027]
  撮影用長ビデオセグメンテーションのためのマルチモーダルアライメント(MultimodalalignedmEnt aGregation and distillAtion,MEGA)を提案する。 可変長と異なるモードの入力をアライメント位置符号化で粗いアライメントする。 MEGAは、モダリティ間でラベルを同期し、転送するために、新しい対照的な損失を採用しており、ビデオショット上のラベル付きシナプス文からのアクセグメンテーションを可能にしている。
  論文  参考訳（メタデータ） (2023-08-22T04:23:59Z)
• Video-based Person Re-identification with Long Short-Term Representation Learning [101.62570747820541]
  ビデオベースの人物再識別(V-ReID)は、オーバーラップしないカメラで撮影した生のビデオから特定の人物を回収することを目的としている。 本稿では,V-ReIDのためのLong Short-Term Representation Learning(LSTRL)という新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-07T16:22:47Z)
• Rethinking Learning Approaches for Long-Term Action Anticipation [32.67768331823358]
  アクション予測は、ビデオの初期部分を観察した将来のアクションを予測することを含む。 本稿では,長期的行動予測を行う抗CIPATRについて紹介する。 本稿では,新しいトランスモデルを構築するための2段階学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-20T20:07:30Z)
• Learning to Refactor Action and Co-occurrence Features for Temporal Action Localization [74.74339878286935]
  アクション機能と共起機能は、しばしばビデオの実際のアクションコンテンツを支配します。 ビデオスニペット内でこれらの2種類の特徴を分離することで,新しい補助タスクを開発する。 まず、アクション内容を明示的に分解し、その共起機能を正規化します。
  論文  参考訳（メタデータ） (2022-06-23T06:30:08Z)
• Transformers in Action:Weakly Supervised Action Segmentation [81.18941007536468]
  等価なRNNモデルに対して, 動作アライメント精度を向上させるためにトランスフォーマーを適用する方法を示す。 また、推論時により高速に書き起こしを選択するための補足的な書き起こし埋め込み手法を提案する。 提案手法をベンチマークデータセット全体にわたって評価し,トランスフォーマーの適用性をよりよく理解する。
  論文  参考訳（メタデータ） (2022-01-14T21:15:58Z)
• Learning Motion Flows for Semi-supervised Instrument Segmentation from Robotic Surgical Video [64.44583693846751]
  本研究は,スパースアノテーションを用いたロボット手術ビデオから半教師楽器のセグメンテーションについて検討する。 生成されたデータペアを利用することで、我々のフレームワークはトレーニングシーケンスの時間的一貫性を回復し、強化することができます。 その結果,本手法は最先端の半教師あり手法よりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-06T02:39:32Z)
• Temporal Aggregate Representations for Long-Range Video Understanding [26.091400303122867]
  将来の予測、特に長距離ビデオでは、現在と過去の観測から推論する必要がある。 フレキシブルな多粒質時間アグリゲーションフレームワークを用いて,時間的範囲,スケーリング,セマンティック抽象化のレベルに関する問題に対処する。
  論文  参考訳（メタデータ） (2020-06-01T10:17:55Z)
• Long Short-Term Relation Networks for Video Action Detection [155.13392337831166]
  本稿では,Long Short-Term Relation Networks (LSTR)について述べる。 LSTRは、ビデオアクション検出のための拡張機能と関連して集約し、伝播する。 4つのベンチマークデータセットで大規模な実験を行う。
  論文  参考訳（メタデータ） (2020-03-31T10:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。