論文の概要: Egocentric Video Task Translation @ Ego4D Challenge 2022
- arxiv url: http://arxiv.org/abs/2302.01891v1
- Date: Fri, 3 Feb 2023 18:05:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-06 15:14:21.479947
- Title: Egocentric Video Task Translation @ Ego4D Challenge 2022
- Title(参考訳): Egocentric Video Task Translation @ Ego4D Challenge 2022
- Authors: Zihui Xue, Yale Song, Kristen Grauman, Lorenzo Torresani
- Abstract要約: EgoTask Translationアプローチは、Ego4Dチャレンジにおけるエゴ中心のビデオタスク間の関係を探索する。
本稿では,他のタスク用に開発された既存のモデルを活用し,タスクを「翻訳」するタスクを主タスクに導入することを提案する。
提案手法は,2つのEgo4D課題において,PNRローカライゼーション課題において第1位,第3位にランクインする。
- 参考スコア(独自算出の注目度): 109.30649877677257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This technical report describes the EgoTask Translation approach that
explores relations among a set of egocentric video tasks in the Ego4D
challenge. To improve the primary task of interest, we propose to leverage
existing models developed for other related tasks and design a task translator
that learns to ''translate'' auxiliary task features to the primary task. With
no modification to the baseline architectures, our proposed approach achieves
competitive performance on two Ego4D challenges, ranking the 1st in the talking
to me challenge and the 3rd in the PNR keyframe localization challenge.
- Abstract(参考訳): 本報告では,ego4d 課題における ego 中心のビデオタスク間の関係を探索する egotask 翻訳手法について述べる。
そこで本研究では,他のタスク用に開発された既存のモデルを活用するとともに,タスクの補助的特徴の「翻訳」を学ぶタスクトランスレータの設計を提案する。
ベースラインアーキテクチャを変更することなく、提案手法は2つのego4d課題において競争力を発揮でき、talking to meチャレンジでは1位、pnrキーフレームローカライゼーションチャレンジでは3位となっている。
関連論文リスト
- Put Myself in Your Shoes: Lifting the Egocentric Perspective from
Exocentric Videos [66.46812056962567]
Exocentric-to-egocentric cross-view translationは、第三者(exocentric)の観点からアクターをキャプチャするビデオ録画に基づいて、アクターの1人(egocentric)ビューを生成することを目的としている。
そこで我々は,Exo2Egoという,翻訳過程を高次構造変換と画素レベルの幻覚の2段階に分解する生成フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-11T01:00:00Z) - Core Challenges in Embodied Vision-Language Planning [11.896110519868545]
Embodied Vision-Language Planningタスクは、物理的な環境でのインタラクションにコンピュータビジョンと自然言語を活用する。
我々はこれらのタスクを統一する分類法を提案し、現在および新しいアルゴリズムアプローチの分析と比較を行う。
我々は,モデル汎用性を実現し,実世界の展開を促進するタスク構築を提唱する。
論文 参考訳(メタデータ) (2023-04-05T20:37:13Z) - EgoTV: Egocentric Task Verification from Natural Language Task
Descriptions [9.503477434050858]
我々は、Egocentric Task Verification (EgoTV)と呼ばれるベンチマークと合成データセットを提案する。
EgoTVの目標は、これらのタスクの自然言語記述に基づいて、エゴセントリックなビデオからタスクの実行を検証することである。
本稿では,記号表現を利用したニューロシンボリックグラウンド(NSG)手法を提案する。
論文 参考訳(メタデータ) (2023-03-29T19:16:49Z) - Egocentric Video Task Translation [109.30649877677257]
EgoTask Translation (EgoT2) を提案する。EgoTask Translation (EgoT2) は,個別のタスクに最適化されたモデルの集合をとり,各タスクの出力を一度に変換し,任意のタスクやすべてのタスクのパフォーマンスを改善する。
従来のトランスファーやマルチタスク学習とは異なり、EgoT2のフリップした設計では、タスク固有のバックボーンとタスクトランスレータがすべてのタスクで共有され、不均一なタスク間のシナジーを捕捉し、タスク競合を緩和する。
論文 参考訳(メタデータ) (2022-12-13T00:47:13Z) - EgoTaskQA: Understanding Human Tasks in Egocentric Videos [89.9573084127155]
EgoTaskQAベンチマークは、現実世界のエゴセントリックなビデオに対する質問回答を通じて、タスク理解の重要な次元を提供する。
我々は,(1)行動依存と効果,(2)意図と目標,(3)エージェントの他者に対する信念の理解を念頭に設計する。
我々は、我々のベンチマークで最先端のビデオ推論モデルを評価し、複雑なゴール指向のエゴセントリックなビデオを理解する上で、人間の間に大きなギャップがあることを示します。
論文 参考訳(メタデータ) (2022-10-08T05:49:05Z) - Exploring Anchor-based Detection for Ego4D Natural Language Query [74.87656676444163]
本稿では,CVPR 2022におけるEgo4D自然言語クエリの課題について報告する。
上記の課題を解決するために,本課題の解決策を提案する。
論文 参考訳(メタデータ) (2022-08-10T14:43:37Z) - Egocentric Video-Language Pretraining [74.04740069230692]
Video-Language Pretrainingは、転送可能な表現を学習して、幅広いビデオテキストダウンストリームタスクを前進させることを目的としている。
我々は、最近リリースされたEgo4Dデータセットを利用して、3方向のEgoセントリックトレーニングを開拓しました。
3つのデータセットにわたる5つのエゴセントリックなダウンストリームタスクに対して、強いパフォーマンスを示します。
論文 参考訳(メタデータ) (2022-06-03T16:28:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。