論文の概要: ECHO: Event-Augmented Context with Hindsight and Outlook for Wrist-Only Manipulation

• arxiv url: http://arxiv.org/abs/2609.34893v1
• Date: Mon, 28 Sep 2026 11:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:56:01.733388
• Title: ECHO: Event-Augmented Context with Hindsight and Outlook for Wrist-Only Manipulation
• Title（参考訳）: ECHO: 隠れたイベント拡張コンテキストとリストオンリー操作の展望
• Abstract要約: イベントカメラは、画素レベルの強度変化を検出して劣化を緩和し、高いダイナミックレンジを提供する。 本稿では、手首イベントをコンパクトな動作表現にエンコードする手首のみの潜在世界アクションモデルECHOを提案する。
• 参考スコア（独自算出の注目度）: 24.429112210763638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning-based manipulation policies relying on RGB cameras often suffer from degraded observations under extreme exposure. Event cameras mitigate this degradation by asynchronously detecting pixel-level intensity changes to offer a high dynamic range. However, their observations heavily depend on camera placement, as fixed cameras miss static scene content while wrist-mounted camera motion causes previously visited regions to leave the field of view. To address these spatial-temporal limitations, we present ECHO (Event-augmented Context with Hindsight and Outlook), a wrist-only latent world action model that encodes wrist events into compact motion representations to provide temporal and spatial context for policy reasoning. Specifically, ECHO utilizes a pretrained event encoder to explain visual-feature changes between frames. Its hindsight module preserves the gripper trajectory with past event stream as addressable off-camera context. Concurrently, the outlook module introduces learnable event foresight queries supervised to anticipate the event window for future actions, enabling the policy to predict upcoming scene changes. Evaluated on wrist-only RLBench tasks, ECHO outperforms RGB and RGB+event baselines by 20.6 and 12.0 percentage points under normal lighting, and by 14.6 and 11.3 points under severe exposure drops, respectively, while also surpassing RGB references using a third-person camera. Real-world experiments with a wrist-mounted event camera validate that ECHO outperforms RGB-only and RGB+event baselines across multiple tasks under both nominal and severely dark lighting. Project page is at https://echo-wam.github.io/.
• Abstract（参考訳）: RGBカメラに依存した学習ベースの操作ポリシーは、極端な露出下での劣化した観察に悩まされることが多い。 イベントカメラは、画素レベルの強度変化を非同期に検出することで、この劣化を緩和し、高いダイナミックレンジを提供する。 しかし、固定カメラは静止シーンの内容を見逃し、手首に取り付けられたカメラの動きは、これまで訪れた地域を視界から遠ざける原因となるため、カメラ配置に大きく依存する。 このような空間的時間的制約に対処するために,手首のみのイベントをコンパクトな動作表現に符号化し,ポリシー推論のための時間的・空間的コンテキストを提供するECHO(Event-augmented Context with Hindsight and Outlook)を提案する。 具体的には、事前訓練されたイベントエンコーダを使用して、フレーム間の視覚的特徴の変化を説明する。 後ろ向きのモジュールは、過去のイベントストリームを対応可能なオフカメラコンテキストとして、グリップパの軌跡を保存する。 同時に、Outlookモジュールは、将来のアクションのイベントウィンドウを予測するために教師付きで学習可能なイベントフォアサイトクエリを導入し、ポリシーが今後のシーン変更を予測できるようにする。 手首のみのRLBenchタスクで評価され、ECHOはRGBとRGB+eventのベースラインを20.6と12.0のパーセンテージで上回り、それぞれ14.6と11.3のパーセンテージで3人称カメラでRGBの基準を上回っている。 手首に搭載されたイベントカメラを用いた実世界の実験では、ECHOは名目上も暗くも複数のタスクでRGBのみのベースラインとRGB+eventのベースラインを上回っている。 プロジェクトページはhttps://echo-wam.github.io/にある。

関連論文リスト

• Spatio-Temporal Difference Guided Motion Deblurring with the Complementary Vision Sensor [12.418360718687026]
  動きのぼかしは露光期間中に急激なシーン変化が起こると発生し、リッチな露光中の動きを1つのRGBフレームに崩壊させる。 本稿では,RGB入力のぼやけた構造や色の詳細を復元するために,時空間差ガイドデブロアネット(STGDNet)を提案する。 提案手法は,合成CVSデータセットと実世界評価の両方において,現在のRGBやイベントベースのアプローチよりも優れている。
  論文  参考訳（メタデータ） (2026-04-12T09:54:14Z)
• Dynamic EventNeRF: Reconstructing General Dynamic Scenes from Multi-view RGB and Event Streams [69.65147723239153]
  動的シーンのボリューム再構成はコンピュータビジョンにおいて重要な問題である。 照明が悪く、動きが速い場合には特に困難である。 本稿では,スパースなマルチビューイベントストリームとスパースなRGBフレームからシーンを時間的に再構築する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:56:18Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [87.1077910795879]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。