論文の概要: Object-Centric Latent Action Learning

• arxiv url: http://arxiv.org/abs/2502.09680v1
• Date: Thu, 13 Feb 2025 11:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:47:37.554075
• Title: Object-Centric Latent Action Learning
• Title（参考訳）: オブジェクト中心の潜在行動学習
• Authors: Albina Klepach, Alexander Nikulin, Ilya Zisman, Denis Tarasov, Alexander Derevyagin, Andrei Polubarov, Nikita Lyubaykin, Vladislav Kurenkov,
• Abstract要約: 本稿では,VideoSaur と LAPO に基づくオブジェクト中心の潜在行動学習手法を提案する。 無関係な背景雑音から因果的エージェント・オブジェクトの相互作用を効果的に切り離し、トラクタによる性能劣化を低減する。 Distracting Control Suite を用いた予備実験では、オブジェクト分解に基づく遅延動作事前学習により、x2.7 による推論遅延動作の品質が向上し、ラベル付きアクションの小さなセットによる下流微調整の効率が向上し、平均 x2.6 での戻り率が向上することが示された。
• 参考スコア（独自算出の注目度）: 70.3173534658611
• License:
• Abstract: Leveraging vast amounts of internet video data for Embodied AI is currently bottle-necked by the lack of action annotations and the presence of action-correlated distractors. We propose a novel object-centric latent action learning approach, based on VideoSaur and LAPO, that employs self-supervised decomposition of scenes into object representations and annotates video data with proxy-action labels. This method effectively disentangles causal agent-object interactions from irrelevant background noise and reduces the performance degradation of latent action learning approaches caused by distractors. Our preliminary experiments with the Distracting Control Suite show that latent action pretraining based on object decompositions improve the quality of inferred latent actions by x2.7 and efficiency of downstream fine-tuning with a small set of labeled actions, increasing return by x2.6 on average.
• Abstract（参考訳）: Embodied AIのための膨大な量のインターネットビデオデータを活用することは、現在、アクションアノテーションの欠如とアクション関連インタラプタの存在に悩まされている。 本稿では,ビデオサールとLAPOをベースとしたオブジェクト中心の潜在行動学習手法を提案する。 本手法は,無関係な背景雑音から因果的エージェント・オブジェクト間相互作用を効果的に解き離し,トラクタによる遅延動作学習手法の性能劣化を低減する。 Distracting Control Suite を用いた予備実験では、オブジェクト分解に基づく遅延動作事前学習により、x2.7 による推論遅延動作の品質が向上し、ラベル付きアクションの小さなセットによる下流微調整の効率が向上し、平均 x2.6 での戻り率が向上することが示された。

関連論文リスト

• Latent Action Learning Requires Supervision in the Presence of Distractors [40.33684677920241]
  実世界のビデオには、潜在的なアクション学習を妨げるアクション関連障害が含まれていることが示されています。 LAOMは,潜伏動作の質を8倍に向上する簡易なLAPO修正法である。 我々は、潜在アクション学習中のデータセット全体の2.5%にも満たない、地道的なアクションによる監視を提供することで、下流のパフォーマンスが平均4.2倍向上することを示した。
  論文  参考訳（メタデータ） (2025-02-01T09:35:51Z)
• OccludeNet: A Causal Journey into Mixed-View Actor-Centric Video Action Recognition under Occlusions [37.79525665359017]
  OccludeNetは、現実世界と合成閉塞シーンの両方を含む、大規模に隠蔽されたビデオデータセットである。 本稿では,隠蔽シーンの構造因果モデルを提案するとともに,バックドア調整と対実的推論を用いた因果的行動認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T06:10:05Z)
• Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
  双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。 BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• The impact of Compositionality in Zero-shot Multi-label action recognition for Object-based tasks [4.971065912401385]
  ゼロショットマルチラベル動作認識のための統一的なアプローチであるDual-VCLIPを提案する。 Dual-VCLIPは、マルチラベル画像分類のためのDualCoOp法を用いて、ゼロショット動作認識法であるVCLIPを強化する。 オブジェクトベースのアクションの大部分を含むCharadesデータセット上で,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-14T15:28:48Z)
• DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
  人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。 既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。 本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:06:43Z)
• Leveraging Action Affinity and Continuity for Semi-supervised Temporal Action Segmentation [24.325716686674042]
  本稿では,時間的行動分割タスクに対する半教師付き学習手法を提案する。 このタスクの目的は、長い、トリミングされていないプロシージャビデオにおいて、時間的にアクションを検出し、セグメント化することである。 本稿では,非競合データに対して,アクション親和性損失とアクション連続性損失の2つの新たな損失関数を提案する。
  論文  参考訳（メタデータ） (2022-07-18T14:52:37Z)
• Learning to Refactor Action and Co-occurrence Features for Temporal Action Localization [74.74339878286935]
  アクション機能と共起機能は、しばしばビデオの実際のアクションコンテンツを支配します。 ビデオスニペット内でこれらの2種類の特徴を分離することで,新しい補助タスクを開発する。 まず、アクション内容を明示的に分解し、その共起機能を正規化します。
  論文  参考訳（メタデータ） (2022-06-23T06:30:08Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)
• Self-supervised Video Object Segmentation [76.83567326586162]
  本研究の目的は、半教師付きビデオオブジェクトセグメンテーション(高密度トラッキング)の解決を目的とした自己教師付き表現学習である。 i) 従来の自己教師型アプローチを改善すること、(ii) オンライン適応モジュールによる自己教師型アプローチの強化により、空間的時間的不連続性によるトラッカーのドリフトを緩和すること、(iv) DAVIS-2017とYouTubeの自己教師型アプローチで最先端の結果を示すこと、などが提案されている。
  論文  参考訳（メタデータ） (2020-06-22T17:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。