論文の概要: Diffusion-Based Action Recognition Generalizes to Untrained Domains

• arxiv url: http://arxiv.org/abs/2509.08908v1
• Date: Wed, 10 Sep 2025 18:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.097342
• Title: Diffusion-Based Action Recognition Generalizes to Untrained Domains
• Title（参考訳）: 拡散に基づく行動認識は訓練されていない領域に一般化する
• Authors: Rogerio Guimaraes, Frank Xiao, Pietro Perona, Markus Marks,
• Abstract要約: 本研究では,視覚拡散モデルにより生成された特徴を用いて,人間の行動認識を実現することを提案する。 動物種間での行動分類におけるアプローチの一般化特性を実験的に検討した。 我々のモデルは、3つの一般化ベンチマークにまたがって新しい最先端のモデルを設定し、マシンアクション認識を人間のような堅牢性に近づける。
• 参考スコア（独自算出の注目度）: 13.559693292518558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans can recognize the same actions despite large context and viewpoint variations, such as differences between species (walking in spiders vs. horses), viewpoints (egocentric vs. third-person), and contexts (real life vs movies). Current deep learning models struggle with such generalization. We propose using features generated by a Vision Diffusion Model (VDM), aggregated via a transformer, to achieve human-like action recognition across these challenging conditions. We find that generalization is enhanced by the use of a model conditioned on earlier timesteps of the diffusion process to highlight semantic information over pixel level details in the extracted features. We experimentally explore the generalization properties of our approach in classifying actions across animal species, across different viewing angles, and different recording contexts. Our model sets a new state-of-the-art across all three generalization benchmarks, bringing machine action recognition closer to human-like robustness. Project page: $\href{https://www.vision.caltech.edu/actiondiff/}{\texttt{vision.caltech.edu/actiondiff}}$ Code: $\href{https://github.com/frankyaoxiao/ActionDiff}{\texttt{github.com/frankyaoxiao/ActionDiff}}$
• Abstract（参考訳）: 人間は、種の違い(クモと馬の歩行)、視点(人間中心対3人)、文脈(実生活対映画)など、大きな文脈と視点の違いにもかかわらず、同じ行動を認識することができる。 現在のディープラーニングモデルは、そのような一般化に苦慮している。 本稿では,この課題を克服するために,トランスフォーマを介して集約された視覚拡散モデル(VDM)によって生成された特徴を用いて,人間の動作認識を実現することを提案する。 拡散過程の早い時間ステップに条件付きモデルを用いて,抽出した特徴の画素レベルの詳細よりもセマンティック情報を強調することにより,一般化が促進されることが判明した。 我々は、動物種、異なる視角、異なる記録状況における行動の分類におけるアプローチの一般化特性を実験的に検討した。 我々のモデルは、3つの一般化ベンチマークにまたがって新しい最先端のモデルを設定し、マシンアクション認識を人間のような堅牢性に近づける。 プロジェクトページ: $\href{https://www.vision.caltech.edu/actiondiff/}{\texttt{vision.caltech.edu/actiondiff}}$ Code: $\href{https://github.com/frankyaoxiao/ActionDiff}{\texttt{github.com/frankyaoxiao/ActionDiff$

関連論文リスト

• Detect Changes like Humans: Incorporating Semantic Priors for Improved Change Detection [52.62459671461816]
  本稿では,視覚基盤モデルからのセマンティックな先入観を取り入れ,変化を検出する能力の向上について検討する。 人間の視覚パラダイムにインスパイアされた新しいデュアルストリーム特徴デコーダは、意味認識特徴と差認識特徴を組み合わせることで変化を区別するために導出される。
  論文  参考訳（メタデータ） (2024-12-22T08:27:15Z)
• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• Probing Fine-Grained Action Understanding and Cross-View Generalization of Foundation Models [13.972809192907931]
  ファンデーションモデル(FM)は、広いデータセットでトレーニングされた大規模なニューラルネットワークである。 ビデオにおける人間の活動認識は、異なるアーキテクチャ間の競争によって駆動されるFMによって進歩している。 本稿では,視線変化が人体活動認識の微粒化における異なるFMに与える影響を実験的に評価する。
  論文  参考訳（メタデータ） (2024-07-22T12:59:57Z)
• Effective Data Augmentation With Diffusion Models [45.18188726287581]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
  3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。 我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。 提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
  論文  参考訳（メタデータ） (2021-10-05T15:39:11Z)
• JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting [53.28477676794658]
  ビデオにおける教師なしの動作は ディープ・ニューラル・ネットワークによって 大幅に進歩しました JOKR(Joint Keypoint Representation)は、オブジェクトの事前やデータ収集を必要とせずに、ソースとターゲットのビデオの両方を処理する。 本手法は質的かつ定量的に評価し,異なる動物,異なる花,人間など,さまざまなクロスドメインシナリオを扱うことを示す。
  論文  参考訳（メタデータ） (2021-06-17T17:32:32Z)
• Multi-level Motion Attention for Human Motion Prediction [132.29963836262394]
  本研究は, 関節, 身体部分, フルポーズレベルなど, 異なる種類の注意力の使用について検討した。 我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を検証した。
  論文  参考訳（メタデータ） (2021-06-17T08:08:11Z)
• Self-Supervised Learning via multi-Transformation Classification for Action Recognition [10.676377556393527]
  マルチトランスフォーメーション分類に基づく自己監督型映像表現学習手法を導入し,人間の行動を効率的に分類する。 ビデオの表現は、7つの異なる変換を分類することで自己監督的な方法で学習される。 C3Dおよび3D Resnet-18をバックボーンネットワークとして, UCF101およびHMDB51データセットの実験を行った。
  論文  参考訳（メタデータ） (2021-02-20T16:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。