論文の概要: End-to-End Action Segmentation Transformer

• arxiv url: http://arxiv.org/abs/2503.06316v2
• Date: Tue, 11 Mar 2025 04:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 12:20:11.433501
• Title: End-to-End Action Segmentation Transformer
• Title（参考訳）: エンド・ツー・エンド・アクション・セグメンテーション・トランス
• Authors: Tieqiao Wang, Sinisa Todorovic,
• Abstract要約: アクションセグメンテーションのための最初のエンドツーエンドソリューションであるEnd-to-End Action Transformer(EAST)を紹介します。 主な貢献は,(1)効果的なバックボーン微調整のためのシンプルで効率的なアダプタ設計,(2)粗末なサンプル付きビデオ上で予測されたアクション提案を活用するセグメンテーション・バイ・ディテクト・フレームワーク,(3)ロバストトレーニングのための新しいアクションプロモーザベースのデータ拡張である。
• 参考スコア（独自算出の注目度）: 20.50623230630898
• License:
• Abstract: Existing approaches to action segmentation use pre-computed frame features extracted by methods which have been trained on tasks that are different from action segmentation. Also, recent approaches typically use deep framewise representations that lack explicit modeling of action segments. To address these shortcomings, we introduce the first end-to-end solution to action segmentation -- End-to-End Action Segmentation Transformer (EAST). Our key contributions include: (1) a simple and efficient adapter design for effective backbone fine-tuning; (2) a segmentation-by-detection framework for leveraging action proposals initially predicted over a coarsely downsampled video toward labeling of all frames; and (3) a new action-proposal based data augmentation for robust training. EAST achieves state-of-the-art performance on standard benchmarks, including GTEA, 50Salads, Breakfast, and Assembly-101. The model and corresponding code will be released.
• Abstract（参考訳）: アクションセグメンテーションへの既存のアプローチは、アクションセグメンテーションとは異なるタスクで訓練されたメソッドによって抽出された事前計算されたフレーム特徴を使用する。 また、近年のアプローチでは、アクションセグメントの明示的なモデリングを欠いたディープフレームワイズ表現が一般的である。 これらの欠点に対処するため、アクションセグメンテーション -- End-to-End Action Segmentation Transformer (EAST) の最初のエンドツーエンドソリューションを紹介します。 主な貢献は,(1)効果的なバックボーン微調整のためのシンプルで効率的なアダプタ設計,(2)粗末なサンプル付きビデオ上で予測されたアクション提案を活用するセグメンテーション・バイ・ディテクト・フレームワーク,(3)ロバストトレーニングのための新しいアクションプロモーザベースのデータ拡張である。 EASTはGTEA、50Salads、Breakfast、Ambly-101など、標準的なベンチマークで最先端のパフォーマンスを実現している。 モデルと対応するコードはリリースされる。

関連論文リスト

• Efficient Temporal Action Segmentation via Boundary-aware Query Voting [51.92693641176378]
  BaFormerは境界対応のTransformerネットワークで、各ビデオセグメントをインスタンストークンとしてトークン化する。 BaFormerは実行時間の6%しか利用せず、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-05-25T00:44:13Z)
• BIT: Bi-Level Temporal Modeling for Efficient Supervised Action Segmentation [34.88225099758585]
  教師付きアクションセグメンテーションは、ビデオを重複しないセグメントに分割することを目的としており、それぞれが異なるアクションを表す。 最近の研究は、高い計算コストを被るフレームレベルでの時間的モデリングを行うためにトランスフォーマーを適用している。 本稿では,アクションセグメントを表現するために明示的なアクショントークンを学習する,BIレベルの効率的な時間モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-28T20:59:15Z)
• Diffusion Action Segmentation [63.061058214427085]
  本稿では,このような反復的洗練の本質的な精神を共用した拡散モデルによる新しい枠組みを提案する。 このフレームワークでは、入力された映像の特徴を条件としてランダムノイズから行動予測を反復的に生成する。
  論文  参考訳（メタデータ） (2023-03-31T10:53:24Z)
• Temporal Segment Transformer for Action Segmentation [54.25103250496069]
  本稿では,テキスト・セグメント・トランスフォーマ (textittemporal segment transformer) と呼ぶアテンション・ベース・アプローチを提案する。 主な考え方は、セグメントとフレームの間の注意を用いてセグメント表現を識別することであり、またセグメント間の時間的相関を捉えるためにセグメント間注意を用いる。 このアーキテクチャは,50Salads,GTEA,Breakfastのベンチマークにおいて,最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-02-25T13:05:57Z)
• Transforming the Interactive Segmentation for Medical Imaging [34.57242805353604]
  本研究の目的は,人間のパフォーマンスに遅れる難易度の高い構造物の自動セグメンテーションをインタラクティブに洗練することである。 対話型(TIS)のための新しいトランスフォーマーアーキテクチャを提案する。 提案アーキテクチャはトランスフォーマーデコーダの変種で構成されており,アテンション機構と機能比較を自然に行う。
  論文  参考訳（メタデータ） (2022-08-20T03:28:23Z)
• ASM-Loc: Action-aware Segment Modeling for Weakly-Supervised Temporal Action Localization [36.90693762365237]
  微弱に監督された時間的アクションローカライゼーションは、トレーニングのためにビデオレベルのアクションラベルのみを与えられた未トリミングビデオ中のアクションセグメントを認識し、ローカライズすることを目的としている。 我々は,標準のMIL法を超越した,明示的でアクション対応のセグメントモデリングを可能にする WTAL フレームワークである System を提案する。 本フレームワークでは, 短時間動作の寄与を補う動的セグメントサンプリング, (ii) 動作のダイナミクスをモデル化し, 時間的依存性を捉えるためのセグメント間注意, (iii) 動作境界予測を改善するための擬似インスタンスレベルの監視の3つの要素を包含する。
  論文  参考訳（メタデータ） (2022-03-29T01:59:26Z)
• ASFormer: Transformer for Action Segmentation [9.509416095106493]
  本稿では,アクションセグメンテーションタスクのための効率的なトランスフォーマーベースモデルASFormerを提案する。 信頼された範囲内で仮説空間を制約し、アクションセグメンテーションタスクが小さなトレーニングセットで適切なターゲット関数を学習するのに有益である。 我々は、長い入力シーケンスを効率的に処理する事前定義された階層表現パターンを適用した。
  論文  参考訳（メタデータ） (2021-10-16T13:07:20Z)
• Target-Aware Object Discovery and Association for Unsupervised Video Multi-Object Segmentation [79.6596425920849]
  本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。 より正確で効率的な時間区分のための新しいアプローチを紹介します。 DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-10T14:39:44Z)
• Video Instance Segmentation with a Propose-Reduce Paradigm [68.59137660342326]
  ビデオインスタンスセグメンテーション(VIS)は、ビデオ内の各フレームごとに定義されたクラスのすべてのインスタンスをセグメンテーションし、関連付けることを目的とする。 先行メソッドは通常、フレームまたはクリップのセグメンテーションを最初に取得し、追跡またはマッチングによって不完全な結果をマージします。 新しいパラダイムであるPropose-Reduceを提案し、入力ビデオの完全なシーケンスを1ステップで生成します。
  論文  参考訳（メタデータ） (2021-03-25T10:58:36Z)
• End-to-End Video Instance Segmentation with Transformers [84.17794705045333]
  ビデオインスタンスセグメンテーション(ビデオインスタンスセグメンテーション、英: Video instance segmentation、VIS)は、ビデオに関心のあるオブジェクトインスタンスを同時に分類、セグメンテーション、追跡することを必要とするタスクである。 本稿では,Transformer上に構築された新しいビデオインスタンスセグメンテーションフレームワークVisTRを提案する。 初めて、Transformers上に構築されたよりシンプルで高速なビデオインスタンスセグメンテーションフレームワークをデモし、競争力のある精度を実現した。
  論文  参考訳（メタデータ） (2020-11-30T02:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。