論文の概要: HiERO-StepG @ Ego4D Step Grounding Challenge: hierarchical activity understanding enables zero-shot step grounding

• arxiv url: http://arxiv.org/abs/2605.31227v1
• Date: Fri, 29 May 2026 12:30:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.600671
• Title: HiERO-StepG @ Ego4D Step Grounding Challenge: hierarchical activity understanding enables zero-shot step grounding
• Title（参考訳）: HiERO-StepG @ Ego4D Step Grounding Challenge: 階層的なアクティビティ理解により、ゼロショットのステップグラウンドを可能にする
• Abstract要約: 手続き的活動は、ステップとサブステップの階層の中で自然に分解される。 ステップグラウンディングの従来のアプローチでは、広範なアノテーションが必要で、スケールが悪くなっています。 このような階層構造は、人間の活動の未確認ビデオから自然に現れる可能性があると我々は主張する。
• 参考スコア（独自算出の注目度）: 9.489870795072266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Procedural activities follow well-defined structures: whether we consider a cooking recipe or a mechanic repairing a car, these activities naturally decompose in a hierarchy of steps and sub-steps. Traditional approaches for step grounding require extensive annotations and scale poorly. Instead, we argue that such hierarchical structure can emerge naturally from uncurated videos of human activities through recurring patterns of co-occurring actions and activities. Our approach builds on HiERO, a weakly-supervised representation learning approach that maps close in the feature space actions that are functionally related to each other, leveraging only fine-grained action-level narrations. In this feature space, procedure steps can be detected by a simple clustering, with no additional task-specific fine-tuning. For the Ego4D Step Grounding challenge, we augment this approach by ensuring fine and coarse level agreement in step assignments, enforcing strict temporal monotonicity of the grounded steps and post-processing the detected steps to reduce the impact of noisy predictions. We call this approach HiERO-StepG and it achieves 56.27 % on the R@1 (IoU = 0.3) metric on the global leaderboard at submission time, ranking second while being completely zero-shot and not requiring procedure-specific annotations. Project page: https://github.com/andreazenotto/HiERO-StepG.
• Abstract（参考訳）: 手続き的活動は、調理レシピや機械的修理を考慮に入れようが、これらの活動はステップとサブステップの階層の中で自然に分解される。 ステップグラウンディングの従来のアプローチでは、広範なアノテーションが必要で、スケールが悪くなっています。 その代わり、このような階層構造は、協調行動や活動のパターンを繰り返すことによって、人間の活動の未確認ビデオから自然に現れる可能性があると論じる。 提案手法は,機能的に相互に関連している特徴空間の行動に近接してマッピングする,微粒な行動レベルのナレーションのみを活用する,弱教師付き表現学習手法であるHiEROを基盤としている。 この特徴空間では、プロシージャステップは単純なクラスタリングによって検出でき、追加のタスク固有の微調整は不要である。 Ego4D Step Grounding チャレンジでは,ステップ割り当てにおける微細かつ粗いレベルアグリーメントの確保,接地されたステップの厳密な時間的一律性の実行,および検出されたステップの処理後処理により,ノイズ予測の影響を低減し,このアプローチを強化する。 このアプローチをHiERO-StepGと呼び、提出時にグローバルなリーダボード上のR@1(IoU = 0.3)メトリックで56.27 %を達成する。 プロジェクトページ: https://github.com/andreazenotto/HiERO-StepG。

関連論文リスト

• SkiP: When to Skip and When to Refine for Efficient Robot Manipulation [50.03201984643502]
  textbfSkip Policy (SkiP)は、スキップセグメントを動的に跳躍し、キーセグメントのアクションを集中的に洗練する。 emphMotion Spectrum Keying (MSK) は、動作信号から局所的な動きの複雑さを検出する高速でタスクに依存しない手順である。 実験によると、SkiPは実行ステップを15ドルから40%ほど削減し、さまざまなポリシーバックボーン間での成功率のマッチングや改善を実現している。
  論文  参考訳（メタデータ） (2026-05-15T02:16:34Z)
• Learning Procedural-aware Video Representations through State-Grounded Hierarchy Unfolding [12.083424392460406]
  我々は、オブジェクト構成のテキストスナップショットである'states'を、モデルが実際に見ることができるものにプロシージャを固定する視覚的に接地されたセマンティック層として導入する。 我々は、この洞察を新しいタスク-ステップ-ステート(TSS)フレームワークで定式化し、そこでは、観測可能な状態間の遷移を駆動するステップを通じてタスクが達成される。 提案手法は,タスク認識,ステップ認識,次のステップ予測など,複数の下流タスクのベースラインモデルより優れている。
  論文  参考訳（メタデータ） (2025-11-25T08:46:11Z)
• BiKC: Keypose-Conditioned Consistency Policy for Bimanual Robotic Manipulation [48.08416841005715]
  両面操作に適したキーポーズ条件の整合性ポリシーを導入する。 階層的な模倣学習フレームワークであり、ハイレベルなキープレース予測器と低レベルな軌道生成器から構成される。 シミュレーションおよび実世界の実験結果から,提案手法は成功率と運用効率の点で基準法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-06-14T14:49:12Z)
• Skip-Plan: Procedure Planning in Instructional Videos via Condensed Action Space Learning [85.84504287685884]
  Skip-Plan(スキップ・プラン)は、訓練ビデオにおけるプロシージャ計画のための凝縮された行動空間学習法である。 アクションチェーン内の不確実なノードやエッジをスキップすることで、長いシーケンス関数と複雑なシーケンス関数を短いが信頼できるものに転送する。 我々のモデルは、凝縮された作用空間内のアクションシーケンス内で、あらゆる種類の信頼できる部分関係を探索する。
  論文  参考訳（メタデータ） (2023-10-01T08:02:33Z)
• Learning to Ground Instructional Articles in Videos through Narrations [50.3463147014498]
  ナレーションされたハウツービデオにおける手続き的活動の段階をローカライズするためのアプローチを提案する。 本稿では,教科記事を含む言語知識ベース(wikiHow)からステップ記述を抽出する。 本モデルは,3つのモダリティをマッチングすることにより,プロシージャ記事のステップをハウツービデオに時間的に基礎付けることを学習する。
  論文  参考訳（メタデータ） (2023-06-06T15:45:53Z)
• Generating Intermediate Steps for NLI with Next-Step Supervision [15.425765421938447]
  我々は、NLI前提と仮説ペアが与えられた次のステップのみを生成するためにシーケンス・ツー・シーケンスモデルを訓練する。 次に、外部知識と記号探索により強化し、次段階の監督のみで中間段階を生成する。 自動検証と人的検証によって生成したステップの正しさを示す。
  論文  参考訳（メタデータ） (2022-08-31T05:25:33Z)
• Learning To Recognize Procedural Activities with Distant Supervision [96.58436002052466]
  最大数分間の長いビデオから、きめ細かな多段階のアクティビティを分類する問題を考察する。 提案手法は,ビデオから自動書き起こされた音声の雑音に合う言語モデルを用いて,知識ベースで記述をステップする。
  論文  参考訳（メタデータ） (2022-01-26T15:06:28Z)
• SVIP: Sequence VerIfication for Procedures in Videos [68.07865790764237]
  ステップレベルの変換を伴う負のアクションシーケンスと同一のアクションシーケンスを実行するポジティブなビデオペアを区別することを目的とした,新しいシーケンス検証タスクを提案する。 このような困難なタスクは、事前のアクション検出やセグメンテーションなしで、オープンセット設定に置かれる。 我々は、化学実験において、あらゆる段階的な変換を列挙したスクリプト付きビデオデータセットを収集する。
  論文  参考訳（メタデータ） (2021-12-13T07:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。