論文の概要: Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation

• arxiv url: http://arxiv.org/abs/2606.30266v1
• Date: Mon, 29 Jun 2026 13:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.243047
• Title: Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation
• Title（参考訳）: 連続運動学習エージェントを目指して:インクリメンタルモーション理解・生成のためのLORA変数
• Abstract要約: 動作言語エージェントは、人間の動き(動きからテキストへ、M2T)を理解し、それを自然言語(テキストからテキストへ、T2M)から生成する能力を持っていなければならない 逐次タスク露光下での双方向動作言語学習における安定性と塑性のトレードオフについて検討する。
• 参考スコア（独自算出の注目度）: 0.3441021278275805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion-language agents must possess the bidirectional capability to both understand human movement (motion-to-text, M2T) and generate it from natural language (text-to-motion, T2M). While foundational models have achieved strong performance in static settings, autonomous agents operating in dynamic environments must continuously incorporate new motion concepts -- such as novel athletic styles or specialized gestures -- without catastrophic forgetting of previously acquired skills. We investigate the stability-plasticity trade-off in bidirectional motion-language learning under sequential task exposure. Building on a frozen large language model backbone, we introduce low-rank adaptation (LoRA) variants designed to mitigate inter-task interference. We specifically propose mixture-of-experts architectures that utilize an autoencoder-based router to select task-specific experts at inference time, so that no task-label is needed. To evaluate these methods, we establish a reproducible five-task benchmark derived from HumanML3D through semantic clustering of motion descriptions. Our experimental results demonstrate near-zero forgetting across both M2T and T2M directions while maintaining high generation and captioning quality. Furthermore, we show that hard expert selection via routing significantly outperforms soft expert blending in quality metrics, indicating that preserving expert isolation is critical for maintaining performance in our continual learning setting. Finally, we observe that a divergence between token-level accuracy and downstream generation quality may occur, highlighting the need for more comprehensive evaluation protocols in future research on lifelong motion-language agents.
• Abstract（参考訳）: 運動言語エージェントは、人間の動き(動きからテキスト、M2T)を理解し、それを自然言語(テキストからテキストへ、T2M)から生成する双方向能力を持つ必要がある。 基礎的なモデルは静的な環境で強力なパフォーマンスを達成したが、動的環境で動作する自律エージェントは、これまで獲得したスキルを壊滅的に忘れることなく、新しい動きの概念(新しい運動スタイルや特殊なジェスチャーなど)を継続的に組み込まなければならない。 逐次タスク露光下での双方向動作言語学習における安定性と塑性のトレードオフについて検討する。 凍結した大言語モデルバックボーン上に構築され、タスク間干渉を軽減するために設計されたローランク適応(LoRA)変異を導入する。 具体的には、オートエンコーダベースのルータを用いて、推論時にタスク固有の専門家を選別し、タスクラベルを必要としない、エキスパートの混在アーキテクチャを提案する。 これらの手法を評価するため,動作記述のセマンティッククラスタリングにより,HumanML3Dから派生した再現可能な5タスクベンチマークを構築した。 実験の結果,M2TとT2Mの両方向をほぼゼロに切り替えることができ,高い生成品質とキャプション品質を維持した。 さらに、ルーティングによるハードエキスパートの選択は、品質指標におけるソフトエキスパートのブレンドよりも大幅に優れており、専門家の隔離を維持することは、継続的な学習環境におけるパフォーマンスを維持する上で重要であることを示す。 最後に,トークンレベルの精度とダウンストリーム生成品質の相違が生じる可能性があることを観察し,将来的な動き言語エージェントの研究において,より包括的な評価プロトコルの必要性を浮き彫りにした。

関連論文リスト

• Open-UniMo: Towards Unified Motion-Language Understanding and Generation in the Open World [31.64682340600284]
  百万単位のオープンワールドな動き言語データに基づいて学習した大動き言語モデル(LMLM)であるOpen-UniMoを提案する。 Open-UniMoはQwenの語彙を約150Kのテキストトークンと64Kのモーショントークンで拡張することでモダリティパリティを促進する。 また、ブリッジ言語意味論とモーションダイナミクスの中間表現として、動き一貫性の連鎖推論を導入する。
  論文  参考訳（メタデータ） (2026-09-13T15:46:41Z)
• Progressively Learning Heterogeneous Skills in a Unified Latent Space [69.64319218245176]
  HetSkillsは物理ベースの文字制御のための統一潜在空間内で異種スキルを学ぶために設計された新しいフレームワークである。 HetSkillsは、モーションコントロールの強力な基盤を確立し、共有モーションデコーダを作成するトラッキングスキルを学ぶことから始まる。 本稿では,言語意味論における地中テクスト・ツー・モーション生成にモーション蒸留を導入し,ハイレベルな言語命令に基づいて動的に動作を調整するタスクガイダンスモジュールを提案する。
  論文  参考訳（メタデータ） (2026-08-24T13:48:45Z)
• Re$^2$MoGen: Open-Vocabulary Motion Generation via LLM Reasoning and Physics-Aware Refinement [27.84741874985021]
  Re$2$MoGenはReasoning and Refinement Open-vocabulary Motion Generationフレームワークである。 初期動作計画を生成し、強化学習(RL)後トレーニングを通じて身体的可視性を洗練させる。 我々のフレームワークは意味論的に一貫性があり、物理的に妥当な動きを生成し、オープン語彙の動作生成において最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2026-04-20T04:59:28Z)
• KineVLA: Towards Kinematics-Aware Vision-Language-Action Models with Bi-Level Action Decomposition [89.7916653471162]
  本稿では,多様なキネマティック属性を密に符号化する,新しいキネマティックスリッチな視覚言語アクション(VLA)タスクを提案する。 この設定では、タスクゴールは不変のままであり、実行軌跡は命令レベルのキネマティック仕様に適応する必要がある。 我々は、KineVLAがキネマティクスに敏感なベンチマークで強いVLAベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-03-18T09:28:49Z)
• IRG-MotionLLM: Interleaving Motion Generation, Assessment and Refinement for Text-to-Motion Generation [54.36300724708094]
  評価と改善のタスクは、理解と生成の間の双方向の知識フローを可能にするために重要なブリッジとして機能する。 動作生成、評価、改善をシームレスにインターリーブし、生成性能を向上させる最初のモデルであるIRG-MotionLLMを紹介する。
  論文  参考訳（メタデータ） (2025-12-11T15:16:06Z)
• DEFT-LLM: Disentangled Expert Feature Tuning for Micro-Expression Recognition [16.903294278064667]
  マルチエキスパート・ディアングルメントによるセマンティックアライメントを実現するDEFT-LLMを提案する。 まず,テキストと局所的な顔の動きを一致させる動作駆動型命令であるUni-MERを紹介する。 次に、3人の専門家によるアーキテクチャを設計し、顔のダイナミクスを独立した表現に分離します。
  論文  参考訳（メタデータ） (2025-11-14T04:21:24Z)
• HMVLM: Human Motion-Vision-Lanuage Model via MoE LoRA [19.21746661300773]
  3次元の人間の動きは、マルチモーダル理解とクロスモーダル生成能力を高めるため、ファンデーションモデルと徐々に統合されている。 本稿では,Mixture of Expert Low-Rank Adaption(MoE LoRA)戦略に基づく統合フレームワークであるHuman Motion-Vision-Language Model(HMVLM)を提案する。 提案手法は,指導訓練中の知識の忘れを効果的に軽減し,多種多様な下流作業において顕著な性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-11-03T11:22:10Z)
• Breaking Down and Building Up: Mixture of Skill-Based Vision-and-Language Navigation Agents [43.5771856761934]
  VLN(Vision-and-Language Navigation)は、自然言語命令を解釈し、複雑な3D環境をナビゲートするエージェントにとって大きな課題となる。 トランスフォーマーベースのVLNエージェントに構造化されたスキルベースの推論を導入するモジュラーフレームワークであるSkillNavを提案する。
  論文  参考訳（メタデータ） (2025-08-11T05:50:30Z)
• MotionGPT3: Human Motion as a Second Modality [28.616340011811843]
  MotionGPT3は、理解と生成の両方のためのバイモーダルモーション言語モデルである。 共通注意を持つデュアルストリームトランスは、制御された双方向情報フローを実現しつつ、モダリティ固有の経路を保存する。 実験により、MotionGPT3はトレーニング損失の2倍高速収束、検証の最大4倍高速収束を実現している。
  論文  参考訳（メタデータ） (2025-06-30T17:42:22Z)
• GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
  本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。 我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。 我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
  論文  参考訳（メタデータ） (2025-05-02T17:59:55Z)
• MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
  MotionGPT-2は、MLMLM(Large Motion-Language Model)である。 LLM(Large Language Models)によるマルチモーダル制御をサポートしている。 難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
  論文  参考訳（メタデータ） (2024-10-29T05:25:34Z)
• MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
  本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。 我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
  論文  参考訳（メタデータ） (2024-05-31T08:06:05Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。