論文の概要: Transformer with Controlled Attention for Synchronous Motion Captioning

• arxiv url: http://arxiv.org/abs/2409.09177v1
• Date: Fri, 13 Sep 2024 20:30:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 21:59:04.708126
• Title: Transformer with Controlled Attention for Synchronous Motion Captioning
• Title（参考訳）: 同期モーションキャプションのための制御された注意を持つ変圧器
• Authors: Karim Radouane, Sylvie Ranwez, Julien Lagarde, Andon Tchechmedjiev,
• Abstract要約: 本稿では,人間の動作シーケンスに同期した言語記述を生成することを目的とした,同期動作キャプションという課題に対処する。 本手法では,トランスフォーマーの自己および横断的な分布を制御する機構を導入し,解釈可能性と時刻整合テキスト生成を実現する。 我々は、KIT-MLとHumanML3Dという2つのベンチマークデータセットの評価を通じて、我々のアプローチの優れた性能を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address a challenging task, synchronous motion captioning, that aim to generate a language description synchronized with human motion sequences. This task pertains to numerous applications, such as aligned sign language transcription, unsupervised action segmentation and temporal grounding. Our method introduces mechanisms to control self- and cross-attention distributions of the Transformer, allowing interpretability and time-aligned text generation. We achieve this through masking strategies and structuring losses that push the model to maximize attention only on the most important frames contributing to the generation of a motion word. These constraints aim to prevent undesired mixing of information in attention maps and to provide a monotonic attention distribution across tokens. Thus, the cross attentions of tokens are used for progressive text generation in synchronization with human motion sequences. We demonstrate the superior performance of our approach through evaluation on the two available benchmark datasets, KIT-ML and HumanML3D. As visual evaluation is essential for this task, we provide a comprehensive set of animated visual illustrations in the code repository: https://github.com/rd20karim/Synch-Transformer.
• Abstract（参考訳）: 本稿では,人間の動作シーケンスに同期した言語記述を生成することを目的とした,同期動作キャプションという課題に対処する。 このタスクは、アライメント手話文字起こし、教師なしアクションセグメンテーション、時間的グラウンドニングなど、多数の応用に関係している。 本手法では,トランスフォーマーの自己および横断的な分布を制御する機構を導入し,解釈可能性と時刻整合テキスト生成を実現する。 本研究では,移動語の生成に寄与する最も重要なフレームのみにのみ注意を最大化させるマスキング戦略と構造的損失によってこれを達成した。 これらの制約は、アテンションマップにおける情報の望ましくない混合を防止し、トークン間のモノトニックアテンション分布を提供することを目的としている。 このように、トークンの横断的な注意は、人間の動作シーケンスと同期した進行テキスト生成に使用される。 我々は、KIT-MLとHumanML3Dという2つのベンチマークデータセットの評価を通じて、我々のアプローチの優れた性能を実証する。 このタスクには視覚的評価が不可欠であるので、コードリポジトリにアニメーションのイラストレーションの包括的なセットを提供する。

関連論文リスト

• Text-guided 3D Human Motion Generation with Keyframe-based Parallel Skip Transformer [62.29951737214263]
  既存のアルゴリズムは、コストがかかりエラーを起こしやすい全シーケンスを直接生成する。 本稿では,入力テキストに対応する人間の動作系列を生成するKeyMotionを提案する。 我々は,自動エンコーダを潜在空間に投影するために,Kullback-Leibler正規化付き変分符号器(VAE)を用いる。 逆拡散のために,デザインラテントとテキスト条件の相互参照を行う新しいパラレルスキップ変換器を提案する。
  論文  参考訳（メタデータ） (2024-05-24T11:12:37Z)
• Seamless Human Motion Composition with Blended Positional Encodings [38.85158088021282]
  後処理や冗長な復調ステップを伴わずにシームレスなヒューマン・モーション・コンポジション(HMC)を生成する最初の拡散モデルであるフローMDMを紹介する。 我々はBabelとHumanML3Dデータセットの精度、リアリズム、スムーズさの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-02-23T18:59:40Z)
• DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
  そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。 既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。 動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
  論文  参考訳（メタデータ） (2023-12-07T04:39:22Z)
• Motion2Language, unsupervised learning of synchronized semantic motion segmentation [0.0]
  動作から言語への変換と同期のためのシーケンスアーキテクチャの構築について検討する。 目的は、モーションキャプチャ入力を英語の自然言語記述に変換し、その記述が実行された動作と同期して生成されるようにすることである。 本稿では、同期/ライブテキスト生成に適した局所的注意の新たな再帰的定式化と、改良されたモーションエンコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-10-16T17:16:32Z)
• Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
  テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。 また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-28T10:40:16Z)
• Co-Speech Gesture Detection through Multi-Phase Sequence Labeling [3.924524252255593]
  本稿では,タスクをマルチフェーズシーケンスラベリング問題として再編成する新しいフレームワークを提案する。 本稿では,タスク指向の対面対話における多様な音声ジェスチャーのデータセットについて検討する。
  論文  参考訳（メタデータ） (2023-08-21T12:27:18Z)
• Text-driven Video Prediction [83.04845684117835]
  テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。 本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。 進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
  論文  参考訳（メタデータ） (2022-10-06T12:43:07Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。