論文の概要: ReMoT: Reinforcement Learning with Motion Contrast Triplets
- arxiv url: http://arxiv.org/abs/2603.00461v1
- Date: Sat, 28 Feb 2026 04:42:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.20505
- Title: ReMoT: Reinforcement Learning with Motion Contrast Triplets
- Title（参考訳）: ReMoT:モーションコントラストトリプレットを用いた強化学習
- Abstract要約: 本稿では,VLMの時間的欠陥に対処する統合トレーニングパラダイムであるReMoTを提案する。
ルールベースの自動フレームワークはビデオメタアノテーションから大規模(1K)モーションコントラスト三重項であるReMoT-16K三重項を生成する。
また, 微妙な識別のVLMを測定するために, 微粒な動きコントラスト三重項に対する最初のベンチマークを構築した。
- 参考スコア（独自算出の注目度）: 37.29312323908102
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present ReMoT, a unified training paradigm to systematically address the fundamental shortcomings of VLMs in spatio-temporal consistency -- a critical failure point in navigation, robotics, and autonomous driving. ReMoT integrates two core components: (1) A rule-based automatic framework that generates ReMoT-16K, a large-scale (16.5K triplets) motion-contrast dataset derived from video meta-annotations, surpassing costly manual or model-based generation. (2) Group Relative Policy Optimization, which we empirically validate yields optimal performance and data efficiency for learning this contrastive reasoning, far exceeding standard Supervised Fine-Tuning. We also construct the first benchmark for fine-grained motion contrast triplets to measure a VLM's discrimination of subtle motion attributes (e.g., opposing directions). The resulting model achieves state-of-the-art performance on our new benchmark and multiple standard VLM benchmarks, culminating in a remarkable 25.1% performance leap on spatio-temporal reasoning tasks.
- Abstract（参考訳）: 我々は、時空間整合性におけるVLMの根本的な欠点を体系的に解決する統一的なトレーニングパラダイムであるReMoTを紹介します。
ReMoTは、ビデオメタアノテーションから派生した大規模な(16.5K)モーションコントラストデータセットであるReMoT-16Kを生成するルールベースの自動フレームワークである。
2) グループ相対的政策最適化は,この対照的な推論を学習するための最適性能とデータ効率を実証的に検証し,標準のスーパービジョン・ファインチューニングをはるかに超えている。
また、VLMの微妙な動き特性(例えば、反対方向)の識別を計測するために、運動コントラスト三重項の微細化のための最初のベンチマークを構築した。
その結果、新しいベンチマークと複数の標準VLMベンチマークで最先端のパフォーマンスが達成され、時空間推論タスクで25.1%のパフォーマンスが飛躍的に向上した。
関連論文リスト
- HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents [71.09493646932046]
本稿では,実世界のエンボディエージェントに特化して設計された基礎モデルのファウンデーションモデルであるHY-Embodied-0.5を紹介する。
HY-Embodied-0.5スイートは、エッジ配置用に設計された2Bアクティベートパラメータを持つ効率的なモデルと、複雑な推論をターゲットとした32Bアクティベートパラメータを持つ強力なモデルである。
私たちのMoT-2Bモデルは16ベンチマークで同等の大きさの最先端モデルより優れていますが、32BはGemini 3.0 Proのようなフロンティアモデルに匹敵するパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2026-04-08T17:59:48Z) - MotionRFT: Unified Reinforcement Fine-Tuning for Text-to-Motion Generation [36.11192536249353]
本稿では,テキスト・ツー・モーション生成モデルのための強化微調整フレームワークを提案する。
MotionRewardは異質な動きをテキストで固定された共有セマンティック空間にマッピングする。
自己精製 優先度学習は、追加のアノテーションなしでセマンティクスを強化する。
MLDモデルではFID 0.132を22.10GBのピークメモリで達成し,最大15.22GBをDRaFTで保存する実験を行った。
論文 参考訳（メタデータ） (2026-03-28T08:10:53Z) - AutoMoT: A Unified Vision-Language-Action Model with Asynchronous Mixture-of-Transformers for End-to-End Autonomous Driving [36.82081211127408]
OURSは、単一の視覚言語アクション(VLA)モデルで推論とアクション生成を統合するエンドツーエンドのADフレームワークである。
OURSは最先端の手法と比較して競争性能が高いことを示す。
論文 参考訳（メタデータ） (2026-03-16T05:50:31Z) - Kinodynamic Motion Retargeting for Humanoid Locomotion via Multi-Contact Whole-Body Trajectory Optimization [6.47799404542057]
我々は,人体移動の新しいアプローチであるKinoDynamic Motion Retargeting (KDMR) フレームワークを提案する。
本手法は,ヒトのような接触パターンを正確に再現するために,ヒールトイ接触イベントを自動的に検出する。
実験の結果,KDMRはキネマティック法よりも有意に優れていた。
論文 参考訳（メタデータ） (2026-03-10T17:51:17Z) - IRG-MotionLLM: Interleaving Motion Generation, Assessment and Refinement for Text-to-Motion Generation [54.36300724708094]
評価と改善のタスクは、理解と生成の間の双方向の知識フローを可能にするために重要なブリッジとして機能する。
動作生成、評価、改善をシームレスにインターリーブし、生成性能を向上させる最初のモデルであるIRG-MotionLLMを紹介する。
論文 参考訳（メタデータ） (2025-12-11T15:16:06Z) - Automating Benchmark Design [17.34266257717423]
動的ベンチマーク設計のプロセスを自動化するフレームワークであるBeTaLを開発した。
2つの新しいベンチマークを作成し、人気のあるエージェントベンチマークを拡張します。
BeTaLは、平均偏差が5.3%から13.2%と、望まれる困難にかなり近いベンチマークを生成する。
論文 参考訳（メタデータ） (2025-10-28T23:53:36Z) - UniVid: The Open-Source Unified Video Model [41.15980565061684]
MLLMと拡散デコーダを軽量アダプタで結合する統一アーキテクチャUniVidを提案する。
標準ベンチマークの実験では、最先端のパフォーマンスが示されている。
論文 参考訳（メタデータ） (2025-09-29T02:31:36Z) - MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。
MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-06-29T06:41:00Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳（メタデータ） (2025-06-24T17:30:27Z) - ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。
Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。
モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
論文 参考訳（メタデータ） (2025-03-27T16:39:40Z) - Reinforced Model Merging [53.84354455400038]
本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。
評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
論文 参考訳（メタデータ） (2025-03-27T08:52:41Z) - TB-Bench: Training and Testing Multi-Modal AI for Understanding Spatio-Temporal Traffic Behaviors from Dashcam Images/Videos [17.41208629642756]
本研究では,エゴ中心の視点から,8つの知覚タスク間の交通行動を理解するためのMLLMの評価ベンチマークTB-Benchを提案する。
また、視覚指導チューニング、TB-100k、TB-250k、タスクの単純かつ効果的なベースラインも導入する。
対照的に、TB-100kまたはTB-250kの微調整では、ベースラインモデルの平均精度が85%まで向上し、タスクの性能が大幅に向上する。
論文 参考訳（メタデータ） (2025-01-10T06:02:06Z) - Data-Driven Approaches for Modelling Target Behaviour [1.5495593104596401]
追跡アルゴリズムの性能は、対象の力学に関する選択されたモデル仮定に依存する。
本稿では,物体の動きを記述するために機械学習を利用する3つの異なる手法の比較研究を行う。
論文 参考訳（メタデータ） (2024-10-14T14:18:27Z) - ProMotion: Prototypes As Motion Learners [46.08051377180652]
本稿では,基本動作タスクをモデル化するための統一プロトタイプフレームワークであるProMotionを紹介する。
ProMotionは、現在のタスク固有のパラダイムとは別の、魅力的な属性を提供する。
我々は,特徴記述器と原型学習器を併用して,動作の複雑さを解読する2つのメカニズムを生かした。
論文 参考訳（メタデータ） (2024-06-07T15:10:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。