論文の概要: Egocentric Video Task Translation @ Ego4D Challenge 2022
- arxiv url: http://arxiv.org/abs/2302.01891v1
- Date: Fri, 3 Feb 2023 18:05:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-06 15:14:21.479947
- Title: Egocentric Video Task Translation @ Ego4D Challenge 2022
- Title（参考訳）: Egocentric Video Task Translation @ Ego4D Challenge 2022
- Authors: Zihui Xue, Yale Song, Kristen Grauman, Lorenzo Torresani
- Abstract要約: EgoTask Translationアプローチは、Ego4Dチャレンジにおけるエゴ中心のビデオタスク間の関係を探索する。
本稿では,他のタスク用に開発された既存のモデルを活用し,タスクを「翻訳」するタスクを主タスクに導入することを提案する。
提案手法は,2つのEgo4D課題において,PNRローカライゼーション課題において第1位,第3位にランクインする。
- 参考スコア（独自算出の注目度）: 109.30649877677257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This technical report describes the EgoTask Translation approach that
explores relations among a set of egocentric video tasks in the Ego4D
challenge. To improve the primary task of interest, we propose to leverage
existing models developed for other related tasks and design a task translator
that learns to ''translate'' auxiliary task features to the primary task. With
no modification to the baseline architectures, our proposed approach achieves
competitive performance on two Ego4D challenges, ranking the 1st in the talking
to me challenge and the 3rd in the PNR keyframe localization challenge.
- Abstract（参考訳）: 本報告では,ego4d 課題における ego 中心のビデオタスク間の関係を探索する egotask 翻訳手法について述べる。
そこで本研究では,他のタスク用に開発された既存のモデルを活用するとともに,タスクの補助的特徴の「翻訳」を学ぶタスクトランスレータの設計を提案する。
ベースラインアーキテクチャを変更することなく、提案手法は2つのego4d課題において競争力を発揮でき、talking to meチャレンジでは1位、pnrキーフレームローカライゼーションチャレンジでは3位となっている。
関連論文リスト
- QuIIL at T3 challenge: Towards Automation in Life-Saving Intervention Procedures from First-Person View [2.3982875575861677]
そこで我々は,Trauma THOMPSON (T3) Challengeにおける省力化介入手順における,多種多様な自動化タスクに対する解決策を提案する。
動作認識と予測のために,複数の入力を1つの画像にサンプリング・縫合する前処理戦略を提案する。
トレーニングのために,アクション辞書誘導型設計を提案する。
論文 参考訳（メタデータ） (2024-07-18T06:55:26Z) - EgoVideo: Exploring Egocentric Foundation Model and Downstream Adaptation [54.32133648259802]
CVPR 2024のEgoVis Challengesには、Ego4Dチャレンジの5トラックとEPIC-Kitchensチャレンジの3トラックが含まれています。
ビデオ言語2towerモデルを構築し,厳密に整理された自我中心型ビデオデータを活用することにより,EgoVideoという新しい基礎モデルを導入する。
このモデルは、エゴセントリックなビデオの特徴に特化して設計されており、当社のコンペティションへの強力なサポートを提供する。
論文 参考訳（メタデータ） (2024-06-26T05:01:37Z) - Put Myself in Your Shoes: Lifting the Egocentric Perspective from
Exocentric Videos [66.46812056962567]
Exocentric-to-egocentric cross-view translationは、第三者(exocentric)の観点からアクターをキャプチャするビデオ録画に基づいて、アクターの1人(egocentric)ビューを生成することを目的としている。
そこで我々は,Exo2Egoという,翻訳過程を高次構造変換と画素レベルの幻覚の2段階に分解する生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-11T01:00:00Z) - EgoTV: Egocentric Task Verification from Natural Language Task
Descriptions [9.503477434050858]
我々は、Egocentric Task Verification (EgoTV)と呼ばれるベンチマークと合成データセットを提案する。
EgoTVの目標は、これらのタスクの自然言語記述に基づいて、エゴセントリックなビデオからタスクの実行を検証することである。
本稿では,記号表現を利用したニューロシンボリックグラウンド(NSG)手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T19:16:49Z) - Egocentric Video Task Translation [109.30649877677257]
EgoTask Translation (EgoT2) を提案する。EgoTask Translation (EgoT2) は,個別のタスクに最適化されたモデルの集合をとり,各タスクの出力を一度に変換し,任意のタスクやすべてのタスクのパフォーマンスを改善する。
従来のトランスファーやマルチタスク学習とは異なり、EgoT2のフリップした設計では、タスク固有のバックボーンとタスクトランスレータがすべてのタスクで共有され、不均一なタスク間のシナジーを捕捉し、タスク競合を緩和する。
論文 参考訳（メタデータ） (2022-12-13T00:47:13Z) - Exploring Anchor-based Detection for Ego4D Natural Language Query [74.87656676444163]
本稿では,CVPR 2022におけるEgo4D自然言語クエリの課題について報告する。
上記の課題を解決するために,本課題の解決策を提案する。
論文 参考訳（メタデータ） (2022-08-10T14:43:37Z) - Egocentric Video-Language Pretraining [74.04740069230692]
Video-Language Pretrainingは、転送可能な表現を学習して、幅広いビデオテキストダウンストリームタスクを前進させることを目的としている。
我々は、最近リリースされたEgo4Dデータセットを利用して、3方向のEgoセントリックトレーニングを開拓しました。
3つのデータセットにわたる5つのエゴセントリックなダウンストリームタスクに対して、強いパフォーマンスを示します。
論文 参考訳（メタデータ） (2022-06-03T16:28:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。