論文の概要: D-CLOT: Double Closed Loop Optimal Transport for Unsupervised Action Segmentation
- arxiv url: http://arxiv.org/abs/2608.05877v1
- Date: Thu, 06 Aug 2026 10:59:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.890535
- Title: D-CLOT: Double Closed Loop Optimal Transport for Unsupervised Action Segmentation
- Title（参考訳）: D-CLOT:unsupervised Action Segmentationのための二重閉ループ最適輸送
- Abstract要約: 我々は、最近導入されたCLOTに基づいて、推定セグメント埋め込みに基づいてフレーム埋め込みを洗練する。
本稿では,OT-refinedフレームとセグメント表現を正規化するグラフ制約モジュールを提案する。
どちらのバリエーションもCLOTよりもセグメントレベルの品質が向上し、ビデオあたりのゲインは最大$+12.7$ F1と$+10.2$ mIoU (YTI)、アクティビティレベルのゲインは最大$+8.9$ F1 (FS-Eval)となる。
- 参考スコア（独自算出の注目度）: 4.26168244766209
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimal transport (OT) has emerged as an effective framework for unsupervised action segmentation. Yet, in existing OT-based methods, the latent action prototypes that define the OT costs are not re-estimated from the refined frame geometry. Instead, they evolve solely through gradients from the pseudo-label loss. We identify this \emph{representation--prototype inconsistency} as a central bottleneck, particularly around ambiguous transitions and for short or infrequent actions. To address this issue, we build on the recently introduced CLOT, which refines frame embeddings based on estimated segment embeddings, and further re-estimates the action prototypes from the refined frame embeddings. Specifically, we introduce a graph-constrained module that regularizes the OT-refined frame and segment representations by preserving the local neighborhood geometry of the encoder output. An action-embedding refinement step then periodically re-anchors the prototypes to this stabilized representation geometry. We study two instantiations that share the same backbone, graph module, and objective: D-CLOT updates the prototypes using $k$-means, whereas D-CLOT$_{B}$ updates them as OT barycenters weighted by the refined transport plan, yielding an assignment-aware prototype update consistent with the current transport geometry. Across five established benchmarks, both variants improve segment-level quality over CLOT, with per-video gains of up to $+12.7$ F1 and $+10.2$ mIoU (YTI) and activity-level gains of up to $+8.9$ F1 (FS-Eval). We further establish the first unsupervised action-segmentation baseline on Assembly101, a procedural and substantially more fine-grained benchmark than those commonly used in prior work. Extensive ablations and sensitivity analyses demonstrate that the two refinement mechanisms are complementary and robust.
- Abstract（参考訳）: 最適輸送(OT)は、教師なしアクションセグメンテーションの効果的なフレームワークとして登場した。
しかし、既存のOTベースの手法では、OTコストを定義する潜在アクションプロトタイプは、洗練されたフレーム形状から再推定されない。
代わりに、それらは擬似ラベル損失からの勾配によってのみ進化する。
我々は、この「emph{representation--prototype inconsistency」を、特にあいまいな遷移や、短時間または頻繁な行動の中心的なボトルネックとみなす。
この問題に対処するため、我々は最近導入されたCLOTに基づいて、推定セグメント埋め込みに基づいてフレーム埋め込みを洗練し、さらに洗練されたフレーム埋め込みからアクションプロトタイプを再見積する。
具体的には、エンコーダ出力の局所的な近傍幾何を保存することにより、OT精製フレームとセグメント表現を正規化するグラフ制約モジュールを提案する。
アクション埋め込み洗練されたステップは、定期的にプロトタイプを安定化された表現幾何学に再アンカーする。
D-CLOTは$k$-meansを使ってプロトタイプを更新するのに対し、D-CLOT$_{B}$は洗練されたトランスポート計画で重み付けされたOTバリセンタとして更新し、現在のトランスポート形状と整合した割り当て対応のプロトタイプを更新する。
5つの確立されたベンチマークで、どちらもCLOTよりもセグメントレベルの品質が向上し、ビデオあたりのゲインは最大$+12.7$ F1と$+10.2$ mIoU (YTI)、アクティビティレベルのゲインは最大$+8.9$ F1(FS-Eval)となる。
さらに,従来の作業でよく使われるベンチマークであるAmbly101上で,教師なしのアクションセグメンテーションベースラインを確立する。
過度なアブレーションと感度分析は、2つの精製機構が相補的かつ堅牢であることを示す。
関連論文リスト
- See the Change, Keep the Flow: Unsupervised Action Segmentation via Spectral-Temporal Representation Learning [28.808122183182576]
SpecT-OTは、不均衡な最適輸送擬似ラベルの概念に基づいて構築されたスペクトル時間表現学習フレームワークである。
我々は、SpecT-OTが、BreakfastとDesktop Assemblyのベースラインで4.1ポイントのMoFと7.4ポイントのF1を含む15のメトリクスのうち13のベストな結果を達成することを示した。
論文 参考訳（メタデータ） (2026-08-30T07:04:28Z) - SAGE-OR: Semi-supervised Adaptive Scene Graph Generation for Operating Rooms [2.676349883103404]
現在の手術シーングラフ生成法は、密集したマルチモーダル監視と特殊なハードウェアに依存している。
本稿では,従来の検出領域のパラダイムを分離した表現領域のパラダイムに置き換える機能中心のフレームワークであるSAGE-ORを提案する。
汎用的なプロンプトは、ほぼ完全なリコールを誘導するために使用され、精度は下流の注意に基づく推論に委譲される。
論文 参考訳（メタデータ） (2026-08-15T17:32:48Z) - Beyond World-Frame Action Heads: Motion-Centric Action Frames for Vision-Language-Action Models [52.17964309142613]
Vision-Language-Action(VLA)モデルは、強力なバックボーン、より広範な事前トレーニング、より大きなデモデータセットで急速に進歩している。
動作中心アクションフレーム(MCF)とプロトタイプベースのアクションパラメータ化を備えた軽量アクションヘッドである textbfMCF-Proto を提案する。
動作ヘッドに軽量な幾何学的・構成的構造を加えることで、VLAポリシーがロボット操作行動の組織化と一般化の方法を大幅に改善できる可能性が示唆された。
論文 参考訳（メタデータ） (2026-05-12T09:03:39Z) - Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。
Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
論文 参考訳（メタデータ） (2026-02-27T07:36:32Z) - Boosting Point-supervised Temporal Action Localization via Text Refinement and Alignment [66.80402022104074]
本稿では,視覚記述からテキスト特徴を効果的に活用し,意味的に豊かな視覚特徴を補完するテキスト認識・アライメント(TRA)フレームワークを提案する。
これは、PTR(Point-based Text Refinement Module)とPMA(Point-based Multimodal Alignment Module)の2つの新しいモジュールを設計することで実現される。
論文 参考訳（メタデータ） (2026-02-01T14:35:46Z) - MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation [59.75554954111619]
マルチビュー3D参照表現(MV-3DRES)を導入し、モデルがシーン構造を復元し、参照対象をスパースなマルチビュー画像から直接セグメント化する必要がある。
本稿では,言語情報をスパースビュー幾何学的推論に組み込む,効率的なエンドツーエンドフレームワークであるMultimodal Visual Geometry Grounded Transformer (MVGGT)を提案する。
実験により、MVGGTは最初の強力なベースラインを確立し、高精度かつ高速な推論を達成し、既存の選択肢よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-01-11T11:44:07Z) - CLOT: Closed Loop Optimal Transport for Unsupervised Action Segmentation [4.880243880711163]
教師なしのアクションセグメンテーションは、最近、最適なトランスポート(OT)ベースの方法であるASOTによってその限界を推し進めた。
マルチレベル循環型特徴学習機構を備えた新しいOTベースのフレームワークであるClosed Loop Optimal Transport (CLOT)を提案する。
論文 参考訳（メタデータ） (2025-07-04T12:42:34Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳（メタデータ） (2023-12-26T12:56:31Z) - POTLoc: Pseudo-Label Oriented Transformer for Point-Supervised Temporal Action Localization [26.506893363676678]
本稿ではPseudo-label Oriented Transformerを提案する。
POTLocは、自己学習戦略を通じて、継続的なアクション構造を特定し、追跡するように設計されている。
THUMOS'14とActivityNet-v1.2データセットでは、最先端のポイント管理手法よりも優れています。
論文 参考訳（メタデータ） (2023-10-20T15:28:06Z) - Joint Spatial-Temporal and Appearance Modeling with Transformer for
Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。
提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文 参考訳（メタデータ） (2022-05-31T01:19:18Z) - ISTR: End-to-End Instance Segmentation with Transformers [147.14073165997846]
ISTRと呼ばれるインスタンスセグメンテーショントランスフォーマーを提案します。これは、その種類の最初のエンドツーエンドフレームワークです。
ISTRは低次元マスクの埋め込みを予測し、それらのマスクの埋め込みと一致する。
ISTRは、提案されたエンドツーエンドのメカニズムにより、近似ベースのサブオプティマティック埋め込みでも最先端のパフォーマンスを発揮します。
論文 参考訳（メタデータ） (2021-05-03T06:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。