論文の概要: FineMoLA: Towards Fine-Grained Motion-Language Alignment from Clip-Level Supervision
- arxiv url: http://arxiv.org/abs/2608.01392v1
- Date: Sun, 02 Aug 2026 17:16:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.193021
- Title: FineMoLA: Towards Fine-Grained Motion-Language Alignment from Clip-Level Supervision
- Title（参考訳）: FineMoLA:Clip-Level Supervisionからのファイングラインドモーションランゲージアライメントを目指して
- Abstract要約: FineMoLAは、クリップレベルのアノテーションから直接、きめ細かいフレーム-フレーズ対応を学習する弱い教師付きフレームワークである。
提案手法は,まず長文記述をアクションを含むフレーズに分割し,次に動き言語アライメントを定式化する。
SnapMoGenの実験では、学習されたアライメントは、テキストのグラウンドニングにおいてベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 18.320743730967735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-conditioned human motion generation has made rapid progress with the emergence of large-scale motion--language datasets. However, even datasets with rich long-form descriptions typically provide supervision only at the clip level, without explicit temporal correspondence between motion frames and language. This limits fine-grained motion--text grounding and temporally precise generation. We propose FineMoLA, a weakly supervised framework that learns fine-grained frame--phrase correspondence directly from clip-level annotations. Our method first segments long-form descriptions into action-bearing phrases, and then formulates motion--language alignment as an optimal transport problem, which naturally models many-to-many relations between motion frames and text under global constraints. With entropic regularization and Sinkhorn iterations, FineMoLA efficiently infers pseudo frame-level alignments without human labeling. Experiments on SnapMoGen demonstrate that the learned alignments outperform baselines in motion--text grounding.
- Abstract（参考訳）: テキスト条件付き人間の動き生成は、大規模な動き言語データセットの出現とともに急速に進歩した。
しかし、リッチな長文記述を持つデータセットでさえ、通常、動画フレームと言語の間の明確な時間的対応なしに、クリップレベルでのみ監視を提供する。
これにより、微粒な動き-テキストの接地と時間的に正確な生成が制限される。
我々は、クリップレベルのアノテーションから直接、きめ細かなフレーム-フレーズ対応を学習する弱い教師付きフレームワークであるFineMoLAを提案する。
提案手法はまず, 動作を含むフレーズに長文記述を分割し, 移動言語アライメントを最適輸送問題として定式化し, グローバル制約下での動作フレームとテキストの多対多の関係を自然にモデル化する。
エントロピックな正規化とシンクホーンの反復により、FineMoLAは人間のラベル付けなしで効率的に擬似フレームレベルのアライメントを推論する。
SnapMoGenの実験では、学習されたアライメントは、テキストのグラウンドニングにおいてベースラインを上回っている。
関連論文リスト
- MultiAct: Text-to-Motion Generation from Composite Text via Tailored Attention Guidance [54.131431576597514]
MultiActは、合成テキスト-モーション合成のための未ペアの推論時間フレームワークである。
提案手法は,未表現のプロンプト成分に付随するクロスアテンションスコアを適応的に増幅することにより,意味的崩壊に対処する。
論文 参考訳（メタデータ） (2026-05-29T07:14:48Z) - MotionMERGE: A Multi-granular Framework for Human Motion Editing, Reasoning, Generation, and Explanation [66.66098171359995]
MotionMERGEは、モーション言語モデルの粒度のギャップを埋める統合フレームワークである。
まず,詳細な理解と局所的な編集を含む,粒度の細かい言語誘導型モーションコントロールの研究の先駆者となる。
第2に,粒度調整を共同で行う新しい戦略である粒度事前学習を意識したReasoningAware Granularity-Synergyを設計する。
第3に、第1の微細時間補正命令とモーショングラウンドCoTアノテーションを備えた大規模データセットであるMotionFineEditをキュレートする。
論文 参考訳（メタデータ） (2026-05-18T18:00:04Z) - BiMotion: B-spline Motion for Text-guided Dynamic 3D Character Generation [31.077229364298443]
テキストガイドによる動的3Dキャラクタ生成は急速に進歩しているが、リッチなテキスト記述を忠実に反映した高品質なモーションを生成することは依然として困難である。
既存の手法では、固定長の時間入力と、リッチな動きのセマンティクスを捉えるのに失敗する離散的なフレームワイズ表現により、限られたサブアクションや非コヒーレントな動きを生成する傾向がある。
連続的な微分可能なB-スプライン曲線で動きを表現することでこれらの制約に対処し、基礎となる生成モデルの能力を変更することなくより効果的な動き生成を可能にする。
論文 参考訳（メタデータ） (2026-02-21T15:40:37Z) - LLaMo: Scaling Pretrained Language Models for Unified Motion Understanding and Generation with Continuous Autoregressive Tokens [19.167250154665812]
LLaMoは、モダリティ固有のMixture-of-Transformersアーキテクチャを通じて、事前訓練された大規模言語モデルを拡張するフレームワークである。
人間の動きを因果連続潜伏空間にエンコードし、デコーダのみのバックボーンで次のトーケン予測パラダイムを維持する。
実験により,LLaMoは一般的な設定で高忠実なテキスト・ツー・モーション生成とモーション・トゥ・テキストキャプションを実現することが示された。
論文 参考訳（メタデータ） (2026-02-12T20:02:21Z) - FrankenMotion: Part-level Human Motion Generation and Composition [41.84042766842064]
原子的かつ時間的に認識可能な部分レベルのテキストアノテーションを用いた高品質なモーションデータセットを構築する。
我々のデータセットは、時間分解能で非同期かつ意味的に異なる部分の動きをキャプチャする。
本データセットに基づいて,FrankenMotionという拡散型部分認識モーション生成フレームワークを導入する。
論文 参考訳（メタデータ） (2026-01-15T23:50:07Z) - SegMo: Segment-aligned Text to 3D Human Motion Generation [8.289973143166062]
SegMoは、新しいテキスト条件のヒューマンモーション生成フレームワークである。
複雑なテキスト記述を時間的に順序づけられたフレーズに分解し、それぞれが単純な原子行動を表す。
動作シーケンスを対応する動作セグメントに分割し、テキストと動作セグメントを対照的な学習と整合させる。
論文 参考訳（メタデータ） (2025-12-24T15:26:11Z) - FTMoMamba: Motion Generation with Frequency and Text State Space Models [53.60865359814126]
本稿では,周波数状態空間モデルとテキスト状態空間モデルを備えた新しい拡散型FTMoMambaフレームワークを提案する。
微細な表現を学ぶために、FreqSSMは配列を低周波成分と高周波成分に分解する。
テキストと動作の一貫性を確保するために、TextSSMはテキスト機能を文レベルでエンコードする。
論文 参考訳（メタデータ） (2024-11-26T15:48:12Z) - Motion Generation from Fine-grained Textual Descriptions [29.033358642532722]
我々は,ファインヒューマンML3Dという微細なテキスト記述を専門とする大規模言語移動データセットを構築した。
新しいテキスト2モーションモデルであるFineMotionDiffuseを設計し、微細なテキスト情報をフル活用する。
FineMotionDiffuseはFinHumanML3Dで訓練し,FIDを0.38の差で改善した。
論文 参考訳（メタデータ） (2024-03-20T11:38:30Z) - LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。
まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。
次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2023-12-05T17:59:52Z) - Fine-grained Semantic Alignment Network for Weakly Supervised Temporal
Language Grounding [148.46348699343991]
時間的言語接地は、自然言語記述に基づいてビデオセグメントを未編集ビデオにローカライズすることを目的としている。
既存の弱教師付きメソッドのほとんどは、候補セグメントを生成し、MILベースのフレームワークを通じて、相互アライメントを学ぶ。
我々は、弱い教師付きTLGのための新しい候補のないフレームワーク、細粒度セマンティックアライメントネットワーク(FSAN)を提案する。
論文 参考訳（メタデータ） (2022-10-21T13:10:27Z) - Text-driven Video Prediction [83.04845684117835]
テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。
本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。
進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
論文 参考訳（メタデータ） (2022-10-06T12:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。