論文の概要: Kepler-Encoder-v0.1: Towards a Multimodal Embedding Model for Robots
- arxiv url: http://arxiv.org/abs/2607.13522v1
- Date: Wed, 15 Jul 2026 07:21:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.682709
- Title: Kepler-Encoder-v0.1: Towards a Multimodal Embedding Model for Robots
- Title（参考訳）: Kepler-Encoder-v0.1:ロボットのマルチモーダル埋め込みモデルに向けて
- Abstract要約: 力と接触力は1フレームにはほとんど痕跡がなく、生の視力はテスト対象のロボットで0.10ドル以下でR2ドル以下で読み取られる。
本稿では、ロボットの状態をモダリティとして扱い、視覚、プロプレセプション、力/トルクを1つの共有潜水器に融合するロボットファーストマルチモーダルエンコーダであるKepler-Encoder-v0.1を紹介する。
ホールドアウトシーンでは、視覚のみの潜伏剤がエンドエフェクター状態を回復し、特に、生の凍結したViT特徴と、すべてのセンサー付きロボットのコンピュータマッチングされた視覚のみの制御を大きく上回っている。
- 参考スコア（独自算出の注目度）: 7.140499031711496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A robot must understand the state of its own body, but a camera sees only part of it. Force and contact leave almost no trace in a single frame, and raw vision features read force at $R^2$ at or below $0.10$ on every robot we test. We present Kepler-Encoder-v0.1, a robot-first multimodal encoder that treats robot state as a modality and fuses vision, proprioception, and force/torque into a single shared latent with a learned-query cross-attention layer, trained self-supervised by masked cross-modal prediction under the LeJEPA/SIGReg objective. At evaluation only vision enters, which poses a sharp question. Does fusing state into training make the vision-only latent carry anything the pixels do not already contain? On the RH20T corpus the answer is yes, precisely where the camera is weakest. On held-out scenes, the vision-only latent recovers end-effector state, and force in particular, significantly above both raw frozen-ViT features and a compute-matched vision-only control on every sensored robot, though absolute force recovery at a single timestep is modest; on motor state, which the camera largely sees, it is statistically tied with the strongest vision baselines, and it is the only feature whose latent geometry tracks state. A single embodiment-agnostic encoder covers four robots, and a data-matched control shows this breadth reflects embodiment diversity rather than data volume. The frozen latent is directly useful. Its own cross-modal prediction error is a training-free invalid-state monitor (AUROC $0.90$ on out-of-range states, $0.69$ on scene-swapped states), and a diffusion decoder (PixNerd) reconstructs the camera frame from the latent, confirming the spatial compression preserves world-state. This report validates the single-timestep case; native-rate temporal fusion is the next step.
- Abstract（参考訳）: ロボットは自身の身体の状態を理解する必要があるが、カメラはその一部しか見ることができない。
力と接触力は1つのフレームにはほとんど痕跡がなく、生の視覚はテストした全てのロボットでR^2$以下で読み取ることができる。
本稿では,ロボットの状態をモダリティとして扱うロボットファーストマルチモーダルエンコーダであるKepler-Encoder-v0.1について述べる。
評価では視力のみが入り、鋭い疑問を呈する。
融合状態は、視力のみの潜伏剤に、ピクセルがまだ含まないものを運ばせるか?
RH20Tコーパスでは、答えはイエスです。
ホールドアウトシーンでは、視覚のみの潜伏体がエンドエフェクター状態を回復し、特に、生の凍結したViT特徴と、全てのセンサー付きロボットの計算マッチングされた視覚のみの制御を大きく上回っているが、単一の時間ステップでの絶対的な力回復は控えめである。
1つのエンコーダは4つのロボットをカバーし、データマッチング制御は、この幅がデータボリュームではなく、エンコーダの多様性を反映していることを示している。
冷凍潜水剤は、直接的に有用である。
独自のクロスモーダル予測エラーは、トレーニング不要な無効状態モニタ(AUROC$0.90$、シーンスワップ状態は$0.69$)であり、拡散デコーダ(PixNerd)は、潜伏状態からカメラフレームを再構築し、空間圧縮が世界状態を保存することを確認している。
本報告では, シングルステップの場合を検証し, 次のステップはネイティブレートの時間融合である。
関連論文リスト
- DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery [51.92897182932217]
Egocentric Videoは、組み込みAIのためのスケーラブルな操作データを提供する。
しかし、重度物体の閉塞と頻繁な視界外ギャップのため、3次元手指軌跡の復元は困難である。
オフラインのクリップレベルフレームワークであるDreamHandを導入し、決定論的クリーンレイテンシを使って機能を抽出し、双方向時空間デコーダでデコードする。
論文 参考訳（メタデータ） (2026-08-20T17:46:24Z) - Robostral Navigate [138.74472687550374]
Robostral Navigateは、大規模なナビゲーションシステムのための視覚言語モデルである。
モノラルなRGB画像のストリームのみを消費し、現在のカメラビューの次のターゲット位置を指して、ウェイポイントを予測する。
我々は、実世界のデータ収集への依存を減らすため、350kのシミュレートされたシーンに240万のトラジェクトリを生成します。
論文 参考訳（メタデータ） (2026-07-22T23:13:05Z) - DemoBridge: A Simulation-in-the-Loop Toolkit for Single-View Human Demonstration Retargeting [49.70827726228219]
このツールキットは、人間の手による実演のシングルビューRGBステレオ記録を、物理で検証可能なロボットアーム軌道に変換する。
DemoBridgeの中核は、衝突を意識した単一のプランナーである。
物理シミュレーターはループ内で動作し、生成した各フェーズを検証し、障害時にバックトラックするので、与えられたように再生できないデモは破棄されるのではなく、再計画される。
論文 参考訳（メタデータ） (2026-07-10T15:31:04Z) - Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models [95.75234389806654]
本稿では、Qwen-VL上に構築された一般化可能なビジョン・ランゲージ・アクション基盤モデルであるQwen-RobotManipを提案する。
Qwen-RobotManipは、操作の表現、動き、行動の次元にわたって統合されたアライメントフレームワークを導入している。
人間とロボットの合成パイプラインは、エゴセントリックな手の動きを15プラットフォームにわたるロボットの軌道に変換する。
論文 参考訳（メタデータ） (2026-06-16T12:14:39Z) - Diffusion Transformer World-Action Model for AV Scene Prediction [0.0]
アクションコンディショニングされた世界モデルは、自動運転車が将来のカメラシーンを独自のコントロールから予測することを可能にする。
しかし、コンパクトで訓練可能なスケールでは、未来は曖昧であり、フィールドの標準歪み指標は積極的に誤解を招く。
我々はこれを、冷凍デコーダが最大256倍256ドルフレームを最大8秒前にレンダリングする将来のシーンの潜伏を予測するコンパクトな潜伏世界モデルと対決する。
論文 参考訳（メタデータ） (2026-06-11T07:24:12Z) - Probing Collision Grounding in Vision-Language Models for Safe Human-Robot Collaboration [19.192199380267393]
視覚言語モデル(VLM)における衝突基盤の評価のためのベンチマークであるTouchSafeBenchを紹介する。
TouchSafeBenchには、ソーシャルナビゲーションとソーシャルアレンジメントの2,940のシミュレーション屋内共催エピソードが含まれている。
本研究では,現在の安全状態を分類し,接触前の緊急衝突を警告する2つの配置タスクについて検討する。
論文 参考訳（メタデータ） (2026-05-29T12:04:38Z) - Fiducial Exoskeletons: Image-Centric Robot State Estimation [21.491677821308688]
画像に基づく3次元ロボット状態推定の再構成であるFiducial Exoskeletonsを紹介する。
まず,1枚のRGB画像から各リンクの6次元ポーズ推定として,ロボットの状態推定を行った。
第2に、学習することなく、リンクごとの6Dポーズ推定を堅牢でシンプルなものにします。
論文 参考訳（メタデータ） (2026-01-12T22:04:25Z) - RoboPEPP: Vision-Based Robot Pose and Joint Angle Estimation through Embedding Predictive Pre-Training [27.63332596592781]
関節角度の不明な関節ロボットの視覚に基づくポーズ推定は、協調ロボット工学や人間とロボットのインタラクションタスクに応用できる。
現在のフレームワークでは、ニューラルネットワークエンコーダを使用して、画像の特徴と下流層を抽出し、関節角とロボットのポーズを予測する。
本稿では,ロボットの物理モデルに関する情報を,マスクを用いた自己教師型埋め込み予測アーキテクチャを用いてエンコーダに融合させる手法であるRoboPEPPを紹介する。
論文 参考訳（メタデータ） (2024-11-26T18:26:17Z) - Exploring 3D Human Pose Estimation and Forecasting from the Robot's Perspective: The HARPER Dataset [52.22758311559]
本研究では,ユーザとスポット間のダイアドインタラクションにおける3次元ポーズ推定と予測のための新しいデータセットであるHARPERを紹介する。
キーノーベルティは、ロボットの視点、すなわちロボットのセンサーが捉えたデータに焦点を当てることである。
HARPERの基盤となるシナリオには15のアクションが含まれており、そのうち10つはロボットとユーザの間の物理的接触を含んでいる。
論文 参考訳（メタデータ） (2024-03-21T14:53:50Z) - Real-time Holistic Robot Pose Estimation with Unknown States [30.41806081818826]
RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。
従来の手法では、例えば接地型ロボットの関節角など、ロボットの内部状態の完全な知識が想定されていた。
本研究は,RGB画像からリアルタイムロボットのポーズ推定を行う上で,既知のロボットの状態を必要としない効率的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-08T13:12:50Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。