論文の概要: Hier-EgoPack: Hierarchical Egocentric Video Understanding with Diverse Task Perspectives

• arxiv url: http://arxiv.org/abs/2502.02487v1
• Date: Tue, 04 Feb 2025 17:03:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:52.381876
• Title: Hier-EgoPack: Hierarchical Egocentric Video Understanding with Diverse Task Perspectives
• Title（参考訳）: Hier-EgoPack: 多様なタスクパースペクティブによる階層型エゴセントリックビデオ理解
• Authors: Simone Alberto Peirone, Francesca Pistilli, Antonio Alliegro, Tatiana Tommasi, Giuseppe Averta,
• Abstract要約: 多様な時間的粒度の推論を可能にすることで,EgoPackを進化させるHier-EgoPackを紹介した。 クリップレベルの推論とフレームレベルの推論の両方を含む複数のEgo4dベンチマークに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 12.709881592333995
• License:
• Abstract: Our comprehension of video streams depicting human activities is naturally multifaceted: in just a few moments, we can grasp what is happening, identify the relevance and interactions of objects in the scene, and forecast what will happen soon, everything all at once. To endow autonomous systems with such a holistic perception, learning how to correlate concepts, abstract knowledge across diverse tasks, and leverage tasks synergies when learning novel skills is essential. A significant step in this direction is EgoPack, a unified framework for understanding human activities across diverse tasks with minimal overhead. EgoPack promotes information sharing and collaboration among downstream tasks, essential for efficiently learning new skills. In this paper, we introduce Hier-EgoPack, which advances EgoPack by enabling reasoning also across diverse temporal granularities, which expands its applicability to a broader range of downstream tasks. To achieve this, we propose a novel hierarchical architecture for temporal reasoning equipped with a GNN layer specifically designed to tackle the challenges of multi-granularity reasoning effectively. We evaluate our approach on multiple Ego4d benchmarks involving both clip-level and frame-level reasoning, demonstrating how our hierarchical unified architecture effectively solves these diverse tasks simultaneously.
• Abstract（参考訳）: 人間の活動を描いたビデオストリームの理解は、自然に多面的です – ほんの数秒で何が起きているのかを把握し、シーン内のオブジェクトの関連性と相互作用を特定し、すぐに何が起こるのかを予測できます。 このような総合的な認識で自律システムを実現するためには、概念の相関性を学び、多様なタスクにまたがる知識を抽象化し、新しいスキルを学ぶ際にはタスクのシナジーを活用することが不可欠である。 この方向への大きなステップはEgoPackである。これは、オーバーヘッドを最小限にして、さまざまなタスクにわたるヒューマンアクティビティを理解するための統合されたフレームワークである。 EgoPackは、新しいスキルを効率的に学習するために不可欠な下流タスク間の情報共有とコラボレーションを促進する。 本稿では,Hier-EgoPackを紹介する。このHier-EgoPackは,多種多様な時間的粒度の推論を可能にすることで,より広範なダウンストリームタスクに適用可能となる。 そこで本研究では,多粒性推論の課題を効果的に解決するために,GNN層を具備した時間的推論のための新しい階層型アーキテクチャを提案する。 我々は、クリップレベルとフレームレベルの推論の両方を含む複数のEgo4dベンチマークに対するアプローチを評価し、階層的な統一アーキテクチャがこれらの多様なタスクを同時に効果的に解決する方法を実証した。

関連論文リスト

• A Backpack Full of Skills: Egocentric Video Understanding with Diverse Task Perspectives [5.515192437680944]
  人間の行動の共有時間モデリングを最小限のオーバーヘッドで組み合わせたビデオ理解への統一的アプローチを模索する。 EgoPackは、下流のタスクにまたがって実行され、追加の洞察源となる可能性のあるタスクパースペクティブのコレクションを作成するソリューションである。 提案手法の有効性と効率を4つのEgo4Dベンチマークで示す。
  論文  参考訳（メタデータ） (2024-03-05T15:18:02Z)
• Autonomous Open-Ended Learning of Tasks with Non-Stationary Interdependencies [64.0476282000118]
  固有のモチベーションは、目標間のトレーニング時間を適切に割り当てるタスクに依存しないシグナルを生成することが証明されている。 内在的に動機付けられたオープンエンドラーニングの分野におけるほとんどの研究は、目標が互いに独立しているシナリオに焦点を当てているが、相互依存タスクの自律的な獲得を研究するのはごくわずかである。 特に,タスク間の関係に関する情報をアーキテクチャのより高レベルなレベルで組み込むことの重要性を示す。 そして、自律的に取得したシーケンスを格納する新しい学習層を追加することで、前者を拡張する新しいシステムであるH-GRAILを紹介する。
  論文  参考訳（メタデータ） (2022-05-16T10:43:01Z)
• Towards More Generalizable One-shot Visual Imitation Learning [81.09074706236858]
  汎用ロボットは、幅広いタスクを習得し、過去の経験を生かして、新しいタスクを素早く学ぶことができるべきである。 ワンショット模倣学習(OSIL)は、専門家のデモンストレーションでエージェントを訓練することで、この目標にアプローチする。 我々は、より野心的なマルチタスク設定を調査することで、より高度な一般化能力を追求する。
  論文  参考訳（メタデータ） (2021-10-26T05:49:46Z)
• HALMA: Humanlike Abstraction Learning Meets Affordance in Rapid Problem Solving [104.79156980475686]
  人間は自然主義的タスクの構造に応じて構成的および因果的抽象化、つまり知識を学ぶ。 エージェントがその知識をどのように表現するかには、知覚、概念、アルゴリズムの3段階の一般化がある、と我々は主張する。 このベンチマークは、ビジュアルコンセプト開発と迅速な問題解決のための新しいタスクドメイン、HALMAを中心にしています。
  論文  参考訳（メタデータ） (2021-02-22T20:37:01Z)
• Intrinsically Motivated Open-Ended Multi-Task Learning Using Transfer Learning to Discover Task Hierarchy [0.0]
  オープンエンド環境では、ロボットは階層的強化学習において複数のパラメータ化された制御タスクを学習する必要がある。 最も複雑なタスクは、より単純なタスクから知識を転送することでより簡単に学習でき、タスクにアクションの複雑さを適用することでより早く学習できることを示します。 複雑な行動のタスク指向表現(手順と呼ばれる)を提案し、オンラインのタスク関係とアクションプリミティブの無制限のシーケンスを学び、環境の異なる可観測性を制御する。
  論文  参考訳（メタデータ） (2021-02-19T10:44:08Z)
• Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
  本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。 このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。 シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-27T13:17:18Z)
• LEMMA: A Multi-view Dataset for Learning Multi-agent Multi-task Activities [119.88381048477854]
  LEMMAデータセットを導入し、細心の注意深い設定で、行方不明な次元に対処するための単一の家を提供する。 我々は、人間と物体の相互作用による原子間相互作用を密に注釈し、日常の活動の構成性、スケジューリング、割り当ての土台として提供する。 この取り組みにより、マシンビジョンコミュニティは、目標指向の人間活動を調べ、現実世界におけるタスクのスケジューリングと割り当てをさらに研究できることを期待します。
  論文  参考訳（メタデータ） (2020-07-31T00:13:54Z)
• Dynamic Feature Integration for Simultaneous Detection of Salient Object, Edge and Skeleton [108.01007935498104]
  本稿では,高次物体分割,エッジ検出,スケルトン抽出など,低レベルの3つの視覚問題を解く。 まず、これらのタスクで共有される類似点を示し、統一されたフレームワークの開発にどのように活用できるかを示す。
  論文  参考訳（メタデータ） (2020-04-18T11:10:11Z)
• MOPT: Multi-Object Panoptic Tracking [33.77171216778909]
  マルチオブジェクト・パノプティブ・トラッキング(MOPT)と呼ばれる新しい知覚タスクを導入する。 MOPTは、時間とともに、"thing"クラスと"stuff"クラスのピクセルレベルのセマンティック情報、時間的コヒーレンス、ピクセルレベルの関連を活用できる。 視覚ベースとLiDARベースのMOPTの定量的,定性的な評価を行い,その効果を実証した。
  論文  参考訳（メタデータ） (2020-04-17T11:45:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。