論文の概要: Polyphony: Diffusion-based Dual-Hand Action Segmentation with Alternating Vision Transformer and Semantic Conditioning

• arxiv url: http://arxiv.org/abs/2605.31115v1
• Date: Fri, 29 May 2026 10:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.537576
• Title: Polyphony: Diffusion-based Dual-Hand Action Segmentation with Alternating Vision Transformer and Semantic Conditioning
• Title（参考訳）: ポリフォニー: 交互視覚変換器とセマンティックコンディショニングを用いた拡散型デュアルハンドアクションセグメンテーション
• Abstract要約: ポリフォニー(Polyphony)は、左右のミニバッチ間のトレーニングを交互に行うオルタネートデュアルハンドビジョントランスフォーマーである。 Polyphonyは2つのデュアルハンドデータセット(HA-ViD, ATTACH)と16.8ポイントの改善、シングルストリームのBreakfastデータセット(82.5%)で最先端を実現する 特に、単一の共有バックボーンを持つ統一モデルは、手作業ごとに別々のモデルを必要とするベースラインを超えます。
• 参考スコア（独自算出の注目度）: 10.658773037388725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dual-hand action segmentation, densely predicting actions for both hands from untrimmed videos, is essential for understanding complex bimanual activities. However, it poses several unique challenges: complex inter-hand dependencies, visual asymmetry between hands, representation conflicts where the dominant hand monopolizes gradients, and semantic ambiguity in fine-grained actions. We propose Polyphony, a three-stage method to address these challenges through: (1) an Alternating Dual-Hand Vision Transformer that alternates training between left- and right-hand mini-batches to ensure balanced gradient contributions from both hands while sharing a spatio-temporal encoder; (2) Semantic Feature Conditioning that aligns visual features with structured, compositional action descriptions to enhance discrimination of semantically similar actions; and (3) Diffusion-Based Segmentation with cross-hand feature fusion for inter-hand coordination and adaptive loss weighting for balancing performance. Polyphony achieves state-of-the-art on both dual-hand datasets (HA-ViD, ATTACH) with improvements up to 16.8 points, and on the single-stream Breakfast dataset (82.5%), outperforming the prior best method that uses a 12x larger backbone. Notably, our unified model with a single shared backbone surpasses baselines requiring separate per-hand models. Code is at https://github.com/x-labs-xyz/Polyphony-Dual-hand-Action-Segmentation.
• Abstract（参考訳）: デュアルハンドアクションセグメンテーション(Dual-hand action segmentation)は、複雑なバイマニュアル活動を理解するのに不可欠である。 しかし、複雑なハンド間の依存関係、手間の視覚的非対称性、支配的なハンドが勾配を独占する表現の衝突、きめ細かい動作における意味的あいまいさなど、いくつかのユニークな課題がある。 これらの課題に対処するための3段階の手法であるPolyphonyを提案する。(1) 左右のミニバッチ間のトレーニングを交互に行い、時空間エンコーダを共有しながら両手からバランスの取れた勾配コントリビューションを確保し、(2) 視覚特徴を構造的、構成的動作記述に整合させて意味的に類似した動作の識別を強化する意味的特徴条件付け、(3) 相互調整と適応的損失重み付けのための手動特徴融合による拡散ベースセグメンテーション。 Polyphonyは2つのデュアルハンドデータセット(HA-ViD、ATTACH)で16.8ポイントの改善を実現し、シングルストリームのBreakfastデータセット(82.5%)では、12倍のバックボーンを使用する以前のベストメソッドよりも優れている。 特に、単一の共有バックボーンを持つ統一モデルは、手作業ごとに別々のモデルを必要とするベースラインを超えます。 コードはhttps://github.com/x-labs-xyz/Polyphony-Dual-hand-Action-Segmentationにある。

関連論文リスト

• AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis [50.793806818677716]
  AffordGraspは、物理的に安定し、セマンティックに忠実な人間の握りを高精度に生成する。 AffordGraspは、手ポーズの空きを意識した潜在表現を二重条件拡散プロセスに統合する。 AffordGraspはHO-3D, OakInk, GRAB, AffordPoseの4つの命令強化ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-09T06:56:35Z)
• Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model [62.889356203346985]
  本稿では,モダリティ競合を処理する世界モデル拡張VLAフレームワークである Dual-STream diffusion (DUST) を提案する。 DUSTは標準のVLAベースラインと暗黙のワールドモデリングメソッドよりも最大6%向上する。 Franka Research 3による実世界のタスクでは、DUSTは成功率のベースラインを13%上回っている。
  論文  参考訳（メタデータ） (2025-10-31T16:32:12Z)
• Separate to Collaborate: Dual-Stream Diffusion Model for Coordinated Piano Hand Motion Synthesis [24.37388595661383]
  コーディネートされたバイマニュアルピアノ演奏の合成は大きな課題となっている。 音声入力からピアノ演奏のための同期ハンドジェスチャーを生成するために設計されたデュアルストリームニューラルフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-14T05:17:41Z)
• Learning to Align and Refine: A Foundation-to-Diffusion Framework for Occlusion-Robust Two-Hand Reconstruction [50.952228546326516]
  単眼画像からの両手再建は、複雑でダイナミックな手の位置が原因で、永続的な課題に直面している。 既存のアプローチはそのようなアライメントの問題に悩まされ、しばしば不整合と侵入の成果物をもたらす。 本稿では,視覚基礎モデルからの2次元事前ガイダンスを正確に整合させる2段階のファンデーション・ツー・ディフュージョンフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-22T14:42:27Z)
• HandDiffuse: Generative Controllers for Two-Hand Interactions via Diffusion Models [46.55793470308987]
  既存の手データセットは概ね短距離であり、手の自己閉塞と自己相似性のために相互作用は弱い。 データの不足を解消するために,強い双方向相互作用を持つ時間列からなる新しいデータセットであるHandDiffuse12.5Mを提案する。
  論文  参考訳（メタデータ） (2023-12-08T07:07:13Z)
• Im2Hands: Learning Attentive Implicit Representation of Interacting Two-Hand Shapes [58.551154822792284]
  Implicit Two Hands (Im2Hands) は、2つの相互作用する手の最初の暗黙の表現である。 Im2Handsは、両手と手と手と画像のコヒーレンシーの高い2つの手のきめ細かい幾何学を生成することができる。 両手再建におけるIm2Handsの有効性を, 関連手法と比較して実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-28T06:38:25Z)
• LWA-HAND: Lightweight Attention Hand for Interacting Hand Reconstruction [2.2481284426718533]
  本稿では,LWA-HAND(Lightlight attention hand)という手法を提案し,単一のRGB画像から低フロップで手を再構築する。 結果として得られたモデルは、InterHand2.6Mベンチマークで、最先端のモデルと比較して同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-21T06:25:56Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera [79.41374930171469]
  本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。 われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。 過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-15T11:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。