論文の概要: Multi Sentence Description of Complex Manipulation Action Videos

• arxiv url: http://arxiv.org/abs/2311.07285v1
• Date: Mon, 13 Nov 2023 12:27:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 14:22:10.304835
• Title: Multi Sentence Description of Complex Manipulation Action Videos
• Title（参考訳）: 複雑な操作動作ビデオの多文記述
• Authors: Fatemeh Ziaeetabar, Reza Safabakhsh, Saeedeh Momtazi, Minija Tamosiunaite and Florentin W\"org\"otter
• Abstract要約: ビデオの自動記述のための既存のアプローチは、主に一定レベルの詳細で単一の文を生成することに焦点を当てている。 この問題に対処するために,1つのハイブリッド統計フレームワークと1つのエンドツーエンドフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.7486111821201287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic video description requires the generation of natural language statements about the actions, events, and objects in the video. An important human trait, when we describe a video, is that we are able to do this with variable levels of detail. Different from this, existing approaches for automatic video descriptions are mostly focused on single sentence generation at a fixed level of detail. Instead, here we address video description of manipulation actions where different levels of detail are required for being able to convey information about the hierarchical structure of these actions relevant also for modern approaches of robot learning. We propose one hybrid statistical and one end-to-end framework to address this problem. The hybrid method needs much less data for training, because it models statistically uncertainties within the video clips, while in the end-to-end method, which is more data-heavy, we are directly connecting the visual encoder to the language decoder without any intermediate (statistical) processing step. Both frameworks use LSTM stacks to allow for different levels of description granularity and videos can be described by simple single-sentences or complex multiple-sentence descriptions. In addition, quantitative results demonstrate that these methods produce more realistic descriptions than other competing approaches.
• Abstract（参考訳）: ビデオの自動記述は、ビデオ内のアクション、イベント、オブジェクトに関する自然言語ステートメントを生成する必要がある。 ビデオを説明するとき、人間の重要な特徴は、異なるレベルの詳細でこれを行うことができることです。 これと異なり、既存の自動ビデオ記述のアプローチは、主に特定のレベルでの単一文生成に焦点を当てている。 そこで本稿では,これらの動作の階層構造に関する情報をロボット学習の現代的アプローチで伝達するために,異なる詳細レベルが必要となる操作動作の映像記述について述べる。 この問題に対処するために,1つのハイブリッド統計と1つのエンドツーエンドフレームワークを提案する。 ビデオクリップ内の統計的不確かさをモデル化するのに対し、データ重みのあるエンドツーエンドの手法では、中間的な(統計的な)処理ステップなしにビジュアルエンコーダと言語デコーダを直接接続しています。 どちらのフレームワークもLSTMスタックを使用して記述の粒度の異なるレベルを指定でき、ビデオは単純な単一文や複雑な多重文で記述できる。 さらに、定量的な結果は、これらの手法が他の競合するアプローチよりも現実的な記述を生み出すことを示している。

関連論文リスト

• Whats in a Video: Factorized Autoregressive Decoding for Online Dense Video Captioning [71.94122309290537]
  ビデオの高密度キャプションを生成するための,効率的なオンライン手法を提案する。 我々のモデルは、新しい自己回帰因子化復号化アーキテクチャを使用している。 提案手法は,オフライン手法とオンライン手法の両方と比較して優れた性能を示し,計算コストを20%削減する。
  論文  参考訳（メタデータ） (2024-11-22T02:46:44Z)
• Storyboard guided Alignment for Fine-grained Video Action Recognition [32.02631248389487]
  微細なビデオアクション認識は、ビデオテキストマッチング問題として概念化することができる。 i) 異なるグローバルなセマンティクスを持つビデオは、類似したアトミックなアクションや外観を共有し、(ii) ビデオ内のアトミックなアクションは、瞬間的、遅い、あるいは、グローバルなビデオセマンティクスと直接的に関係しない、という2つの観察に基づく多粒度フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-18T07:40:41Z)
• Artemis: Towards Referential Understanding in Complex Videos [61.756640718014154]
  本稿では,ビデオに基づく参照理解をより微細なレベルに押し上げるMLLMであるArtemisを紹介する。 アルテミスはどんなビデオフレームにもバウンディングボックスのある自然言語の質問を受け取り、ビデオ全体の中で参照対象を説明する。 新たに確立されたVideoRef45Kデータセット上で,45KビデオQAペアを用いてArtemisをトレーニングし,計算効率のよい3段階トレーニング手順を設計する。
  論文  参考訳（メタデータ） (2024-06-01T01:43:56Z)
• SPOT! Revisiting Video-Language Models for Event Understanding [31.49859545456809]
  本稿では,既存のビデオ言語モデルのイベントレベルの相違点を識別する能力のベンチマークを行うSPOT Proberを紹介する。 これらの正負のキャプションで既存のビデオ言語モデルを評価した結果、操作されたイベントのほとんどを区別できないことがわかった。 そこで本研究では,これらの操作したイベントキャプションをハードネガティブなサンプルとしてプラグインし,イベント理解モデルの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-21T18:43:07Z)
• HierVL: Learning Hierarchical Video-Language Embeddings [108.77600799637172]
  HierVLは階層的なビデオ言語埋め込みであり、長期および短期の関連を同時に扱う。 クリップレベルとビデオレベルの両方でテキストと視覚のアライメントを促進する階層的なコントラストトレーニングの目標を導入する。 我々の階層的スキームは、SotAを達成した長期的なビデオ表現と同様に、その単一レベルよりも優れたクリップ表現をもたらす。
  論文  参考訳（メタデータ） (2023-01-05T21:53:19Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)
• All in One: Exploring Unified Video-Language Pre-training [44.22059872694995]
  そこで本研究では,生のビデオとテキストの信号を共同表現に組み込んだ,エンドツーエンドのビデオ言語モデルであるtextitall-in-one Transformerを提案する。 コードと事前訓練されたモデルはhttps://github.com/showlab/all-in-one.comでリリースされた。
  論文  参考訳（メタデータ） (2022-03-14T17:06:30Z)
• Show Me What and Tell Me How: Video Synthesis via Multimodal Conditioning [36.85533835408882]
  本研究は,テキストと画像を共同あるいは別々に提供するマルチモーダルビデオ生成フレームワークを提案する。 本稿では,自己学習で訓練した新しいビデオトークンと,ビデオトークンをサンプリングするためのマスク予測アルゴリズムを提案する。 我々のフレームワークは、セグメンテーションマスク、描画、部分閉塞画像など、様々な視覚的モダリティを組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-04T21:09:13Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• Spoken Moments: Learning Joint Audio-Visual Representations from Video Descriptions [75.77044856100349]
  我々は、異なるイベントの広い範囲を描写するユニークな短いビデオに起因する500k話されたキャプションのSpoken Momentsデータセットを提示します。 AMMアプローチは一貫して結果を改善し、Spoken Momentsデータセットで訓練されたモデルは、他のビデオキャプションデータセットで訓練されたモデルよりも汎用性が高いことを示しています。
  論文  参考訳（メタデータ） (2021-05-10T16:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。