論文の概要: AirLetters: An Open Video Dataset of Characters Drawn in the Air

• arxiv url: http://arxiv.org/abs/2410.02921v1
• Date: Thu, 3 Oct 2024 19:13:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:55:13.135515
• Title: AirLetters: An Open Video Dataset of Characters Drawn in the Air
• Title（参考訳）: AirLetters:空に浮かぶキャラクターの動画データセット
• Authors: Rishit Dagli, Guillaume Berger, Joanna Materzynska, Ingo Bax, Roland Memisevic,
• Abstract要約: AirLettersは、人間が生成した人工的な動きの実際のビデオからなる、新しいビデオデータセットである。 私たちのデータセットは、人間が空に描いた文字を予測するために視覚モデルが必要です。
• 参考スコア（独自算出の注目度）: 5.835376831198374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce AirLetters, a new video dataset consisting of real-world videos of human-generated, articulated motions. Specifically, our dataset requires a vision model to predict letters that humans draw in the air. Unlike existing video datasets, accurate classification predictions for AirLetters rely critically on discerning motion patterns and on integrating long-range information in the video over time. An extensive evaluation of state-of-the-art image and video understanding models on AirLetters shows that these methods perform poorly and fall far behind a human baseline. Our work shows that, despite recent progress in end-to-end video understanding, accurate representations of complex articulated motions -- a task that is trivial for humans -- remains an open problem for end-to-end learning.
• Abstract（参考訳）: AirLettersは、人間が生成した人工的な動きの実際のビデオからなる、新しいビデオデータセットである。 特に、私たちのデータセットは、人間が空に描いている文字を予測するために、視覚モデルが必要です。 既存のビデオデータセットとは異なり、AirLettersの正確な分類予測は、動きパターンの識別と、時間の経過とともにビデオに長距離情報を統合することに依存している。 AirLettersの最先端画像と映像理解モデルの広範な評価は、これらの手法が人間のベースラインよりはるかに遅れていることを示している。 我々の研究は、最近のエンドツーエンドのビデオ理解の進歩にもかかわらず、複雑な関節の動きの正確な表現は、人間にとって自明なタスクであり、エンド・ツー・エンドの学習には未解決の問題であることを示している。

関連論文リスト

• HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation [64.37874983401221]
  人間の画像アニメーションに適した,最初の大規模高品質データセットであるHumanVidを紹介する。 実世界のデータについては、インターネットから大量の実世界のビデオをコンパイルします。 合成データとして,10K3Dアバターを収集し,体形,肌のテクスチャ,衣服などの既存の資産を利用した。
  論文  参考訳（メタデータ） (2024-07-24T17:15:58Z)
• Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training [69.54948297520612]
  ジェネラリストの具体化エージェントを学ぶことは、主にアクションラベル付きロボットデータセットの不足に起因して、課題を提起する。 これらの課題に対処するための新しい枠組みを導入し、人間のビデオにおける生成前トレーニングと、少数のアクションラベル付きロボットビデオのポリシー微調整を組み合わせるために、統一された離散拡散を利用する。 提案手法は, 従来の最先端手法と比較して, 高忠実度な今後の計画ビデオを生成し, 細調整されたポリシーを強化する。
  論文  参考訳（メタデータ） (2024-02-22T09:48:47Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot [67.00455874279383]
  そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。 提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。 ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
  論文  参考訳（メタデータ） (2023-05-16T19:13:11Z)
• Contextual Explainable Video Representation:\\Human Perception-based Understanding [10.172332586182792]
  人間の知覚過程をアクター、オブジェクト、環境のモデリングに組み込むアプローチについて議論する。 ビデオ理解における人間の知覚に基づく文脈表現の有効性を示すために,ビデオ文のキャプションと時間的行動検出を選択する。
  論文  参考訳（メタデータ） (2022-12-12T19:29:07Z)
• How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
  情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。 Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。 Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2022-10-18T17:58:25Z)
• Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions [81.88294320397826]
  システムは、ビデオに人間と物体の相互作用が存在するか、あるいは人間と物体の実際の位置を知らない。 文節から収集した人-物間相互作用による6.5k以上のビデオからなるデータセットを提案する。 ビデオデータセットのアノテーションに適応した弱教師付きベースラインの性能向上を実証した。
  論文  参考訳（メタデータ） (2021-10-07T15:30:18Z)
• Use of Affective Visual Information for Summarization of Human-Centric Videos [13.273989782771556]
  本研究では、人間中心のビデオに対する感情情報豊かに教師付きビデオ要約タスクについて検討する。 まず、RECOLAデータセット上で視覚的入力駆動型感情認識モデル(CER-NET)を訓練し、感情特性を推定する。 次に,CER-NETの感情特性と高レベル表現を視覚情報と統合し,提案した情緒的映像要約アーキテクチャ(AVSUM)を定義する。
  論文  参考訳（メタデータ） (2021-07-08T11:46:04Z)
• Towards Long-Form Video Understanding [7.962725903399016]
  本稿では,大規模データセット上での長文ビデオのモデリングと評価プロトコルの開発を行うフレームワークを提案する。 オブジェクト中心のトランスフォーマーに基づく新しいビデオ認識アーキテクチャは、7つの多様なタスクで大幅に向上する。
  論文  参考訳（メタデータ） (2021-06-21T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。