論文の概要: High-Speed Vision Improves Zero-Shot Semantic Understanding of Human Actions

• arxiv url: http://arxiv.org/abs/2605.00496v1
• Date: Fri, 01 May 2026 08:12:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.903358
• Title: High-Speed Vision Improves Zero-Shot Semantic Understanding of Human Actions
• Title（参考訳）: 人行動のゼロショットセマンティック理解を向上する高速ビジョン
• Authors: Yongpeng Cao, Yuji Yamakawa,
• Abstract要約: 本研究では、時間分解能が高速な人間の行動のゼロショット意味理解にどのように影響するかを検討する。 その結果,高時間分解能はゼロショット設定におけるセマンティックセパビリティを著しく向上させることがわかった。 これらの結果から,高速知覚は意味理解能力を高めることが示唆された。
• 参考スコア（独自算出の注目度）: 1.1458853556386799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding human actions from visual observations is essential for human--robot interaction, particularly when semantic interpretation of unfamiliar or hard-to-annotate actions is required. In scenarios such as rapid and less common activities, collecting sufficient labeled data for supervised learning is challenging, making zero-shot approaches a practical alternative for semantic understanding without task-specific training. While recent advances in large-scale pretrained models enable such zero-shot reasoning, the impact of temporal resolution, especially for rapid and fine-grained motions, remains underexplored. In this study, we investigate how temporal resolution affects zero-shot semantic understanding of high-speed human actions. Using kendo as a representative case of rapid and subtle motion patterns, we propose a training-free pipeline that combines a pre-trained video-language model for semantic representation with large language model-based reasoning for pairwise action comparison. Through controlled experiments across multiple frame rates (120 Hz, 60 Hz, and 30 Hz), we show that higher temporal resolution significantly improves semantic separability in zero-shot settings. We further analyze the role of tracking-based human joint information under both full and partial observation scenarios. Quantitative evaluation using a nearest-class prototype strategy demonstrates that high-speed video provides more stable and interpretable semantic representations for fast actions. These findings highlight the importance of temporal resolution in training-free action recognition and suggest that high-speed perception can enhance semantic understanding capabilities.
• Abstract（参考訳）: 視覚的な観察から人間の行動を理解することは、人間とロボットの相互作用にとって不可欠である。 素早い、あまり一般的でないアクティビティのようなシナリオでは、教師付き学習に十分なラベル付きデータを収集することは困難であり、ゼロショットアプローチはタスク固有のトレーニングなしで意味理解の実践的な代替となる。 近年の大規模事前訓練モデルではこのようなゼロショット推論が可能になっているが、時間分解能の影響、特に高速できめ細かな動きは未解明のままである。 本研究では、時間分解能が高速な人間の行動のゼロショット意味理解にどのように影響するかを検討する。 素早かつ微妙な動きパターンの代表例として剣道を用いて, セマンティック表現のための訓練済みビデオ言語モデルと, ペアのアクション比較のための大規模言語モデルに基づく推論を組み合わせた学習自由パイプラインを提案する。 複数のフレームレート(120Hz、60Hz、30Hz)で制御された実験により、高時間分解能はゼロショット設定における意味分離性を著しく改善することを示した。 さらに,全観測シナリオと部分観測シナリオの両方において,追跡に基づくヒトの関節情報の役割を解析する。 最寄りのプロトタイプ戦略を用いた定量的評価は、高速ビデオが高速アクションに対してより安定かつ解釈可能なセマンティック表現を提供することを示す。 これらの知見は、訓練不要な行動認識における時間分解能の重要性を強調し、高速な知覚が意味理解能力を高めることを示唆している。

関連論文リスト

• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• Human-AI Divergence in Ego-centric Action Recognition under Spatial and Spatiotemporal Manipulations [12.465670388296239]
  人間は、アクション認識における最先端のAIモデルよりも一貫して優れています。 最小認識クロック(MIRC)を用いたegoの大規模人間-AI比較研究について述べる。 我々は,MIRCsからサブMIRCsへの移行に伴って,ヒトのパフォーマンスが急激な低下を示すことを示した。
  論文  参考訳（メタデータ） (2026-03-09T12:38:56Z)
• Multi-Timescale Motion-Decoupled Spiking Transformer for Audio-Visual Zero-Shot Learning [73.7808110878037]
  本稿では,MDST++(Multi-Timescale Motion-Decoupled Spiking Transformer)を提案する。 RGB画像をイベントに変換することで、より正確に動き情報をキャプチャし、背景のバイアスを軽減する。 本実験はMDST++の有効性を検証し,主流ベンチマークにおける最先端手法よりも一貫した優位性を示した。
  論文  参考訳（メタデータ） (2025-05-26T13:06:01Z)
• Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
  HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。 従来の手法は手作りの機能と機械学習技術に依存している。 HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T12:04:28Z)
• Mutual Information-Based Temporal Difference Learning for Human Pose Estimation in Video [16.32910684198013]
  本稿では,動的コンテキストをモデル化するために,フレーム間の時間差を利用した新しいヒューマンポーズ推定フレームワークを提案する。 具体的には、多段階差分を条件とした多段階絡み合い学習シーケンスを設計し、情報的動作表現シーケンスを導出する。 以下は、HiEveベンチマークで、複合イベントチャレンジにおけるクラウドポーズ推定において、第1位にランク付けします。
  論文  参考訳（メタデータ） (2023-03-15T09:29:03Z)
• Improving Human Motion Prediction Through Continual Learning [2.720960618356385]
  人間の動作予測は、より緊密な人間とロボットのコラボレーションを可能にするために不可欠な要素である。 人間の運動の変動は、人間のサイズの違いによる骨格レベルと、個々の動きの慣用性による運動レベルの両方で複合される。 本稿では、エンドツーエンドのトレーニングを可能にすると同時に、微調整の柔軟性も備えたモジュール型シーケンス学習手法を提案する。
  論文  参考訳（メタデータ） (2021-07-01T15:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。