論文の概要: LocoMotion: Learning Motion-Focused Video-Language Representations
- arxiv url: http://arxiv.org/abs/2410.12018v1
- Date: Tue, 15 Oct 2024 19:33:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:43:36.659666
- Title: LocoMotion: Learning Motion-Focused Video-Language Representations
- Title(参考訳): LocoMotion: 動きに焦点をあてたビデオ言語表現を学習する
- Authors: Hazel Doughty, Fida Mohammad Thoker, Cees G. M. Snoek,
- Abstract要約: 局所物体の動きと時間的進行を記述した動きに着目したキャプションからLocoMotionを提案する。
ビデオに合成動作を追加し、これらの動きのパラメータを用いて対応するキャプションを生成することで、これを実現する。
- 参考スコア(独自算出の注目度): 45.33444862034461
- License:
- Abstract: This paper strives for motion-focused video-language representations. Existing methods to learn video-language representations use spatial-focused data, where identifying the objects and scene is often enough to distinguish the relevant caption. We instead propose LocoMotion to learn from motion-focused captions that describe the movement and temporal progression of local object motions. We achieve this by adding synthetic motions to videos and using the parameters of these motions to generate corresponding captions. Furthermore, we propose verb-variation paraphrasing to increase the caption variety and learn the link between primitive motions and high-level verbs. With this, we are able to learn a motion-focused video-language representation. Experiments demonstrate our approach is effective for a variety of downstream tasks, particularly when limited data is available for fine-tuning. Code is available: https://hazeldoughty.github.io/Papers/LocoMotion/
- Abstract(参考訳): 本稿では,動きに着目した映像言語表現について述べる。
ビデオ言語表現を学習する既存の方法は空間中心のデータを使用し、オブジェクトとシーンを識別することは、関連するキャプションを識別するのに十分であることが多い。
そこで我々はLocoMotionを提案し,局所物体の動きと時間的進行を記述した動き中心のキャプションから学習する。
ビデオに合成動作を追加し、これらの動きのパラメータを用いて対応するキャプションを生成することで、これを実現する。
さらに,動詞変分パラフレージングを提案し,キャプションの多様性を高め,原始的な動きとハイレベルな動詞の関連を学習する。
これにより、動きに着目したビデオ言語表現を学習することができる。
実験では、様々なダウンストリームタスク、特に微調整に限られたデータが利用できる場合に、このアプローチが有効であることを実証した。
コードは:https://hazeldoughty.github.io/Papers/LocoMotion/
関連論文リスト
- Diving Deep into the Motion Representation of Video-Text Models [12.197093960700187]
GPT-4の生成した動作記述は、アクティビティのきめ細かい動作記述をキャプチャする。
動作記述の検索作業におけるビデオテキストモデルの評価を行った。
論文 参考訳(メタデータ) (2024-06-07T16:46:10Z) - Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。
我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。
トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
論文 参考訳(メタデータ) (2024-04-16T16:04:38Z) - Decoupling Static and Hierarchical Motion Perception for Referring Video Segmentation [32.11635464720755]
本稿では,映像レベルの参照表現理解を静的および運動知覚に分離することを提案する。
我々は、視覚的に類似した物体の動きを区別するために、対照的な学習を採用する。
これらのコントリビューションは、5つのデータセットにまたがって最先端のパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-04-04T17:58:21Z) - OmniVid: A Generative Framework for Universal Video Understanding [133.73878582161387]
我々は、言語をラベルとして使用し、時間とボックストークンを付加することで、ビデオ理解タスクの出力空間を統合することを目指している。
これにより、分類、キャプション、ローカライゼーションなど、さまざまなタイプのビデオタスクに対処できる。
このようなシンプルで素直なアイデアは極めて効果的であり、最先端ないし競争的な結果を得ることができることを実証する。
論文 参考訳(メタデータ) (2024-03-26T17:59:24Z) - Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。
SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。
我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
論文 参考訳(メタデータ) (2024-03-15T10:36:24Z) - MotionScript: Natural Language Descriptions for Expressive 3D Human Motions [8.050271017133076]
MotionScriptはモーション・トゥ・テキスト変換アルゴリズムであり、人体の動きの自然言語表現である。
実験により、テキスト・トゥ・モーションタスクに適用されたMotionScript記述により、大規模な言語モデルが、以前は目に見えなかった複雑な動作を生成できることが実証された。
論文 参考訳(メタデータ) (2023-12-19T22:33:17Z) - LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。
まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。
次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-12-05T17:59:52Z) - MotionGPT: Human Motion as a Foreign Language [47.21648303282788]
人間の動きは人間の言語に似た意味的な結合を示し、しばしば身体言語の一種として認識される。
大規模モーションモデルで言語データを融合することにより、動き言語事前学習は、動きに関連したタスクのパフォーマンスを向上させることができる。
我々は,複数の動作関連タスクを処理するために,統一的で汎用的でユーザフレンドリな動作言語モデルであるMotionGPTを提案する。
論文 参考訳(メタデータ) (2023-06-26T15:53:02Z) - OVC-Net: Object-Oriented Video Captioning with Temporal Graph and Detail
Enhancement [44.228748086927375]
本稿では,ビデオベースのオブジェクト指向ビデオキャプションネットワーク(OVC)-Netを時間グラフと詳細拡張を通じて紹介する。
提案手法の有効性を実証するため,新しいデータセットの実験を行い,最先端のビデオキャプション手法と比較した。
論文 参考訳(メタデータ) (2020-03-08T04:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。