論文の概要: Ego-METAS: Egocentric online Multimodal Energy-efficient Temporal Action Segmentation benchmark

• arxiv url: http://arxiv.org/abs/2606.02246v1
• Date: Fri, 29 May 2026 17:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.17413
• Title: Ego-METAS: Egocentric online Multimodal Energy-efficient Temporal Action Segmentation benchmark
• Title（参考訳）: Ego-METAS: Egocentric Online Multimodal Energy- efficient Temporal Action Segmentation benchmark
• Abstract要約: Ego-METASは、最初のオンラインマルチモーダルエネルギ-エネルギ-エネルギ-エネルギ-エネルギ-テンポラルアクションベンチマークである。 Ego-METASは、EgoExo4D、CMU-MMAC、CaptainCook4Dの100時間以上の未編集エゴセントリックビデオの統一テストベッドである。 オンラインの時間的行動セグメンテーションタスクを定式化し、モデルが各タイミングでどのセンサーを起動するかを動的に選択する必要がある。 評価の結果、最適ルーティングはシナリオに依存しており、既存のポリシー学習手法は、主にトリミングされたクリップ用に設計されており、継続的な、トリミングされていない環境への適応に苦慮していることがわかった。
• 参考スコア（独自算出の注目度）: 56.84575992325538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To operate in the physical world, embodied agents must perceive their environment in an "always-on" fashion, selectively accessing the most informative sensors to balance energy constraints and task accuracy. Despite its importance for resource-constrained devices, energy-aware perception remains under-explored, with most prior work assuming unlimited compute. To address this, we introduce Ego-METAS: the first Egocentric online Multimodal Energy-efficient Temporal Action Segmentation benchmark. Ego-METAS provides a unified testbed of more than 100 hours of untrimmed egocentric video from EgoExo4D, CMU-MMAC, and CaptainCook4D, spanning 5 modalities (RGB, audio, gaze, IMU, and monochrome camera). We formulate an online temporal action segmentation task where models must dynamically select which sensors to activate at each timestep while strictly adhering to hardware-representative energy budgets. Alongside the benchmark, we release unified splits, cleaned annotations, pre-extracted features, and a diverse suite of baseline routing policies. Our evaluations show that optimal routing is highly scenario-dependent, and that existing policy-learning methods, designed primarily for trimmed clips, struggle to adapt to continuous, untrimmed environments. However, even simple dynamic fusion of complementary modalities (e.g., via random routing) proves critical for balancing predictive accuracy against strict energy budgets. Ultimately, Ego-METAS provides a standardized foundation to develop robust, cost-aware policies for autonomous, always-on embodied AI.
• Abstract（参考訳）: 物理的世界で運用するには、環境を常に知覚し、エネルギー制約とタスク精度のバランスをとるために最も情報性の高いセンサーに選択的にアクセスする必要がある。 資源に制約のあるデバイスでは重要であるが、エネルギーを意識した認識は未探索のままであり、ほとんどの先行研究は無制限の計算を仮定している。 これを解決するために、Ego-METAS:Egocentric Online Multimodal Energy- efficient Temporal Action Segmentationベンチマークを紹介する。 Ego-METASは、EgoExo4D、CMU-MMAC、CaptainCook4Dの100時間以上の非トリミングなエゴセントリックビデオの統一テストベッドを提供し、RGB、オーディオ、視線、IMU、モノクロカメラの5つのモードにまたがる。 我々は,各タイミングでどのセンサを起動するかを動的に選択し,ハードウェアに代表されるエネルギー予算を厳格に順守するオンライン時間的行動セグメンテーションタスクを定式化する。 ベンチマークに加えて、統一された分割、クリーンなアノテーション、事前抽出された機能、さまざまなベースラインルーティングポリシもリリースしています。 評価の結果、最適ルーティングはシナリオに依存しており、既存のポリシー学習手法は、主にトリミングされたクリップ用に設計されており、継続的な、トリミングされていない環境への適応に苦慮していることがわかった。 しかし、相補的モダリティの単純な動的融合(例えばランダムなルーティング)でさえ、厳密なエネルギー予算に対する予測精度のバランスをとるのに重要である。 最終的に、Ego-METASは、自律的で常時オンのAIのための堅牢でコストを意識したポリシーを開発するための標準化された基盤を提供する。

関連論文リスト

• StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
  StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。 追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。 メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
  論文  参考訳（メタデータ） (2026-08-26T17:33:19Z)
• LIFE -- an energy efficient advanced continual learning agentic AI framework for frontier systems [0.0]
  本稿では、モノリシックなトランスフォーマーを超えて、エージェントAIとブレインインインスパイアされたアーキテクチャを、持続可能な適応システムへの補完パスとして強調する。 本稿では,インクリメンタル,フレキシブル,エネルギ効率のよい推論・学習フレームワークLIFEを提案する。 我々はLIFEを特定のクローズドループHPCオペレーションの例に置き、そのようなクラスタ上で実行されているクリティカルなマイクロサービスが経験するレイテンシのスパイクを検出し緩和する。
  論文  参考訳（メタデータ） (2026-04-14T15:23:36Z)
• ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
  本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。 我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。 その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
  論文  参考訳（メタデータ） (2026-03-03T18:59:29Z)
• The Geometry of Benchmarks: A New Path Toward AGI [0.0]
  本稿では,AIエージェントのすべての心理測定バッテリーを,構造化されたモジュライ空間の点として扱う幾何学的枠組みを提案する。 まず、測定可能なパフォーマンスに基づいて、Kardashevスタイルの自律性階層であるAutonomous AI(AAI)スケールを定義します。 第二に、バッテリーのモジュライ空間を構築し、エージェントの順序や能力推定のレベルで区別できないベンチマークの等価クラスを特定する。 第3に、強化学習、自己再生、討論、検証に基づく微調整を前提としたジェネラルジェネレータ-検証更新演算子(GVU)を導入する。
  論文  参考訳（メタデータ） (2025-12-03T21:34:09Z)
• EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT [56.24624833924252]
  EgoThinkerは、時間的連鎖管理と2段階の学習カリキュラムを通じて、堅牢なエゴセントリック推論能力を備えたMLを支援するフレームワークである。 EgoThinkerは、複数のエゴセントリックなベンチマークで既存のメソッドよりも優れており、微粒な時間的ローカライゼーションタスクで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-10-27T17:38:17Z)
• EgoM2P: Egocentric Multimodal Multitask Pretraining [55.259234688003545]
  大規模なエゴセントリックなマルチモーダルモデルとマルチタスクモデルの構築は、ユニークな課題を示している。 EgoM2Pは、時間的に認識されたマルチモーダルトークンから学習し、エゴセントリックな4D理解のための大規模な汎用モデルをトレーニングするマスク付きモデリングフレームワークである。 私たちはEgoM2Pを完全にオープンソース化し、コミュニティを支援し、エゴセントリックなビジョン研究を前進させます。
  論文  参考訳（メタデータ） (2025-06-09T15:59:25Z)
• COMODO: Cross-Modal Video-to-IMU Distillation for Efficient Egocentric Human Activity Recognition [3.271109623410664]
  ビデオモダリティからIMUモダリティへのリッチな意味的知識をラベル付きアノテーションを必要とせずに伝達するクロスモーダルな自己教師型蒸留フレームワークであるCOMODOを提案する。 我々のアプローチは、IMUエンコーダが実世界のアプリケーションのためにその効率を保ちながら、ビデオからリッチなセマンティック情報を継承することを可能にする。
  論文  参考訳（メタデータ） (2025-03-10T12:43:51Z)
• DriveTransformer: Unified Transformer for Scalable End-to-End Autonomous Driving [62.62464518137153]
  DriveTransformerは、スケールアップを簡単にするためのシンプルなE2E-ADフレームワークである。 タスク・セルフ・アテンション、センサー・クロス・アテンション、時間的クロス・アテンションという3つの統合された操作で構成されている。 シミュレーションされたクローズドループベンチマークBench2Driveと、FPSの高い実世界のオープンループベンチマークnuScenesの両方で、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-07T11:41:18Z)
• Object Aware Egocentric Online Action Detection [23.504280692701272]
  我々は,egocentric-specific presを既存のオンライン行動検出フレームワークに統合するObject-Aware Moduleを紹介した。 私たちの作業は最小限のオーバーヘッドで既存のモデルにシームレスに統合することができ、一貫したパフォーマンス向上をもたらします。
  論文  参考訳（メタデータ） (2024-06-03T07:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。