論文の概要: LEGO: Learning EGOcentric Action Frame Generation via Visual Instruction
Tuning
- arxiv url: http://arxiv.org/abs/2312.03849v1
- Date: Wed, 6 Dec 2023 19:02:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 17:02:59.718635
- Title: LEGO: Learning EGOcentric Action Frame Generation via Visual Instruction
Tuning
- Title(参考訳): LEGO:ビジュアルインストラクションチューニングによるEGO中心のアクションフレーム生成
- Authors: Bolin Lai, Xiaoliang Dai, Lawrence Chen, Guan Pang, James M. Rehg,
Miao Liu
- Abstract要約: 我々は、エゴセントリックなアクションフレーム生成という新しい問題を導入する。
目的は、ユーザのプロンプト質問と入力自我中心の画像に基づいてアクションフレーム条件を合成することである。
提案したモデルを,Ego4DとEpic-Kitchensという,エゴセントリックな2つのデータセットで検証する。
- 参考スコア(独自算出の注目度): 29.310885220370412
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating instructional images of human daily actions from an egocentric
viewpoint serves a key step towards efficient skill transfer. In this paper, we
introduce a novel problem -- egocentric action frame generation. The goal is to
synthesize the action frame conditioning on the user prompt question and an
input egocentric image that captures user's environment. Notably, existing
egocentric datasets lack the detailed annotations that describe the execution
of actions. Additionally, the diffusion-based image manipulation models fail to
control the state change of an action within the corresponding egocentric image
pixel space. To this end, we finetune a visual large language model (VLLM) via
visual instruction tuning for curating the enriched action descriptions to
address our proposed problem. Moreover, we propose to Learn EGOcentric (LEGO)
action frame generation using image and text embeddings from VLLM as additional
conditioning. We validate our proposed model on two egocentric datasets --
Ego4D and Epic-Kitchens. Our experiments show prominent improvement over prior
image manipulation models in both quantitative and qualitative evaluation. We
also conduct detailed ablation studies and analysis to provide insights on our
method.
- Abstract(参考訳): エゴセントリックな視点から人間の日常行動の教示画像を生成することは、効率的なスキル伝達への重要なステップとなる。
本稿では,エゴセントリックなアクションフレーム生成という新しい問題を提案する。
ユーザプロンプト質問に対するアクションフレーム条件付けと,ユーザの環境をキャプチャする入力エゴセントリックなイメージを合成することが目的である。
特に、既存のエゴセントリックなデータセットには、アクションの実行を記述する詳細なアノテーションが欠けている。
さらに、拡散に基づく画像操作モデルでは、対応するエゴセントリック画像画素空間内のアクションの状態変化を制御できない。
この目的のために,視覚インストラクションチューニングを通じて視覚大言語モデル(vllm)を微調整し,拡張された動作記述をキュレートし,提案する問題に対処する。
さらに,VLLMからの画像とテキストの埋め込みを付加条件として,EGO中心(LEGO)アクションフレーム生成の学習を提案する。
ego4dとepic-kitchensという2つのエゴセントリックデータセット上で提案モデルを検証する。
本実験は,定量的および定性的評価において,先行画像操作モデルよりも顕著な改善を示した。
また, 詳細なアブレーション研究と分析を行い, 本手法について考察する。
関連論文リスト
- Action Scene Graphs for Long-Form Understanding of Egocentric Videos [23.058999979457546]
Egocentric Action Scene Graphs (EASGs) は、Egocentric Videoの長期的理解のための新しい表現である。
EASGは、カメラ装着者が行うアクションの時間的に進化したグラフベースの記述を提供する。
実験とアノテーションを複製するデータセットとコードを公開します。
論文 参考訳(メタデータ) (2023-12-06T10:01:43Z) - Foveation in the Era of Deep Learning [6.602118206533142]
本稿では,グラフ畳み込みネットワークを利用してフェーブ化された画像を処理する,エンドツーエンドで微分可能なアクティブ・ビジョン・アーキテクチャを提案する。
我々のモデルは、分類に関連する画像の領域に反復的に出席することを学ぶ。
我々のモデルは最先端のCNNと、同等のパラメータと与えられたピクセルや予算の視覚アーキテクチャより優れています。
論文 参考訳(メタデータ) (2023-12-03T16:48:09Z) - Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。
このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
論文 参考訳(メタデータ) (2023-08-15T17:58:11Z) - Language-based Action Concept Spaces Improve Video Self-Supervised
Learning [8.746806973828738]
画像CLIPモデルをビデオ領域に適応させるために,言語に結びついた自己教師型学習を導入する。
時間的モデリングのために修正されたバックボーンは、アクション概念空間で運用される列車の目的と自己蒸留設定の下で訓練される。
提案手法は3つの行動認識ベンチマークにおいてゼロショットおよび線形探索性能を向上させる。
論文 参考訳(メタデータ) (2023-07-20T14:47:50Z) - AvatarStudio: Text-driven Editing of 3D Dynamic Human Head Avatars [84.85009267371218]
本研究では,動的なフルヘッドアバターの外観を編集するテキストベースのAvatarStudioを提案する。
提案手法は,ニューラルフィールド(NeRF)を用いて人間の頭部のダイナミックなパフォーマンスを捉え,テキスト・ツー・イメージ拡散モデルを用いてこの表現を編集する。
提案手法は,全頭部を標準空間で編集し,事前学習した変形ネットワークを介して残時間ステップに伝達する。
論文 参考訳(メタデータ) (2023-06-01T11:06:01Z) - Cross-view Action Recognition Understanding From Exocentric to
Egocentric Perspective [12.922229272018676]
本稿では,アクション認識のための新しいクロスビュー学習手法を提案する。
まず,トランスフォーマーの自己注意機構に幾何学的制約を導入する。
そこで本稿では, 自己意識のメカニズムを学習し, 知識を視点間で伝達するために, 自己意識を学習するために, 未確認のクロスビューデータに基づいて学習した, 新たな自己意識の喪失を提案する。
論文 参考訳(メタデータ) (2023-05-25T04:14:49Z) - EgoDistill: Egocentric Head Motion Distillation for Efficient Video
Understanding [90.9111678470214]
本稿では,重度エゴセントリックビデオクリップの再構成を学習する蒸留法であるEgoDistillを提案する。
提案手法により効率が大幅に向上し,200倍のGFLOPが要求される。
Ego4D と EPICKitchens のデータセット上での有効性を示す。
論文 参考訳(メタデータ) (2023-01-05T18:39:23Z) - Estimating Egocentric 3D Human Pose in the Wild with External Weak
Supervision [72.36132924512299]
本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。
本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。
実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-01-20T00:45:13Z) - EgoRenderer: Rendering Human Avatars from Egocentric Camera Images [87.96474006263692]
EgoRendererは、ウェアラブルでエゴ中心の魚眼カメラで捉えた人の全身神経アバターをレンダリングするシステムである。
このようなエゴセントリックなイメージからフルボディのアバターをレンダリングすることは、トップダウンのビューと大きな歪みのために、ユニークな課題を生んでいる。
レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
論文 参考訳(メタデータ) (2021-11-24T18:33:02Z) - Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。
SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
論文 参考訳(メタデータ) (2021-11-23T03:29:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。