論文の概要: Action Dubber: Timing Audible Actions via Inflectional Flow

• arxiv url: http://arxiv.org/abs/2506.13320v1
• Date: Mon, 16 Jun 2025 10:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.088569
• Title: Action Dubber: Timing Audible Actions via Inflectional Flow
• Title（参考訳）: Action Dubber: インフレクショナルフローによる可聴動作のタイミング
• Authors: Wenlong Wan, Weiying Zheng, Tianyi Xiang, Guiqing Li, Shengfeng He,
• Abstract要約: 聴取行動の時間的局所化の課題について紹介する。 可聴行動の可聴時間座標を同定することを目的としている。 キーアクションは屈折運動によって駆動されるという前提に基づいている。
• 参考スコア（独自算出の注目度）: 27.978450110521486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the task of Audible Action Temporal Localization, which aims to identify the spatio-temporal coordinates of audible movements. Unlike conventional tasks such as action recognition and temporal action localization, which broadly analyze video content, our task focuses on the distinct kinematic dynamics of audible actions. It is based on the premise that key actions are driven by inflectional movements; for example, collisions that produce sound often involve abrupt changes in motion. To capture this, we propose $TA^{2}Net$, a novel architecture that estimates inflectional flow using the second derivative of motion to determine collision timings without relying on audio input. $TA^{2}Net$ also integrates a self-supervised spatial localization strategy during training, combining contrastive learning with spatial analysis. This dual design improves temporal localization accuracy and simultaneously identifies sound sources within video frames. To support this task, we introduce a new benchmark dataset, $Audible623$, derived from Kinetics and UCF101 by removing non-essential vocalization subsets. Extensive experiments confirm the effectiveness of our approach on $Audible623$ and show strong generalizability to other domains, such as repetitive counting and sound source localization. Code and dataset are available at https://github.com/WenlongWan/Audible623.
• Abstract（参考訳）: 本稿では,可聴動作の時空間座標の特定を目的とした,可聴行動時間的局所化の課題について紹介する。 映像コンテンツを広範に分析する行動認識や時間的行動局在化といった従来の課題とは異なり,本課題は可聴行動の運動力学に焦点をあてる。 例えば、音を発生させる衝突は、しばしば急激な動きの変化を伴う。 そこで本研究では,音声入力に頼らずに衝突タイミングを決定するために,第2の運動微分を用いた屈折流を推定する新しいアーキテクチャであるTA^{2}Net$を提案する。 TA^{2}Net$は、学習中に自己教師付き空間局所化戦略を統合し、対照的な学習と空間分析を組み合わせる。 この二重設計は時間的ローカライゼーションの精度を向上し、同時にビデオフレーム内の音源を識別する。 このタスクをサポートするために,Kinetics と UCF101 から派生した新たなベンチマークデータセットである $Audible623$ を導入する。 Audible623$に対する我々のアプローチの有効性を確認し、繰り返しカウントや音源定位など他の領域に対して強い一般化性を示す。 コードとデータセットはhttps://github.com/WenlongWan/Audible623で公開されている。

関連論文リスト

• Multi-Timescale Motion-Decoupled Spiking Transformer for Audio-Visual Zero-Shot Learning [73.7808110878037]
  本稿では,MDST++(Multi-Timescale Motion-Decoupled Spiking Transformer)を提案する。 RGB画像をイベントに変換することで、より正確に動き情報をキャプチャし、背景のバイアスを軽減する。 本実験はMDST++の有効性を検証し,主流ベンチマークにおける最先端手法よりも一貫した優位性を示した。
  論文  参考訳（メタデータ） (2025-05-26T13:06:01Z)
• FDDet: Frequency-Decoupling for Boundary Refinement in Temporal Action Detection [4.015022008487465]
  大規模な事前訓練されたビデオエンコーダは、背景の乱雑さと無関係なセマンティクスを導入し、コンテキストの混乱と境界に繋がる。 本稿では,事前学習したモデルから得られた雑音のセマンティクスをフィルタリングすることで,行動識別性を向上させる周波数対応デカップリングネットワークを提案する。 本手法は時間的行動検出ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-04-01T10:57:37Z)
• An Efficient Temporary Deepfake Location Approach Based Embeddings for Partially Spoofed Audio Detection [4.055489363682199]
  本稿では,時間的ディープフェイク位置(TDL)という,きめ細かな部分スプーフ音声検出手法を提案する。 提案手法は, 類似モジュールの埋め込みと時間的畳み込み操作という2つの新しい部分を含む。 提案手法は, ASVspoof 2019 partial Spoof データセットのベースラインモデルより優れ, クロスデータセットシナリオにおいても優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-06T14:29:29Z)
• DCASE 2021 Task 3: Spectrotemporally-aligned Features for Polyphonic Sound Event Localization and Detection [16.18806719313959]
  本稿では,信号パワーと音源方向の正確な時間周波数マッピングが可能な空間キュー拡張対数分光法(SALSA)を提案する。 この新機能で訓練されたディープラーニングベースのモデルでは,DCASEチャレンジのベースラインを大きなマージンで上回りました。
  論文  参考訳（メタデータ） (2021-06-29T09:18:30Z)
• SoundDet: Polyphonic Sound Event Detection and Localization from Raw Waveform [48.68714598985078]
  SoundDetは、多音動音イベントの検出とローカライゼーションのためのエンドツーエンドのトレーニング可能で軽量なフレームワークである。 SoundDetは、生のマルチチャネル波形を直接消費し、検出すべき時間音イベントを完全な音オブジェクトとして扱う。 次に、時間的変化が大きいイベントを予測する上での課題に対処するため、高密度な音響提案イベントマップを構築する。
  論文  参考訳（メタデータ） (2021-06-13T11:43:41Z)
• Unsupervised Sound Localization via Iterative Contrastive Learning [106.56167882750792]
  データアノテーションを必要としない反復型コントラスト学習フレームワークを提案する。 次に、擬似ラベルを用いて、同じビデオからサンプリングされた視覚信号と音声信号の相関関係を学習する。 我々の反復的戦略は徐々に音像の局所化を奨励し、非発声領域と参照音声との相関を減少させる。
  論文  参考訳（メタデータ） (2021-04-01T07:48:29Z)
• Weakly Supervised Temporal Action Localization Through Learning Explicit Subspaces for Action and Context [151.23835595907596]
  ビデオレベルの監視のみの下で、アクションインスタンスの時間的開始と終了をローカライズする方法を学ぶ。 アクションとコンテキストそれぞれについて,2つの機能サブスペースを学習するフレームワークを提案する。 提案手法は3つのベンチマークで最先端のWS-TAL法より優れている。
  論文  参考訳（メタデータ） (2021-03-30T08:26:53Z)
• Exploiting Attention-based Sequence-to-Sequence Architectures for Sound Event Localization [113.19483349876668]
  本稿では,注意に基づくシーケンス・ツー・シーケンスモデルを用いて,音のイベントの局所化に新たなアプローチを提案する。 それは無響および残響の条件の最先端の方法と比較される優秀なローカリゼーションの性能をもたらします。
  論文  参考訳（メタデータ） (2021-02-28T07:52:20Z)
• Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
  複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。 本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。 オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
  論文  参考訳（メタデータ） (2021-02-23T09:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。