論文の概要: REKI: Registering Knowledge in VLAs
- arxiv url: http://arxiv.org/abs/2610.22178v1
- Date: Thu, 15 Oct 2026 16:34:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.193617
- Title: REKI: Registering Knowledge in VLAs
- Title(参考訳): REKI: VLAに知識を登録する
- Abstract要約: 本稿では、公開データにのみ事前訓練された視覚言語行動モデル(VLA)であるREKIを紹介する。
LIBERO-Plus、RoboTwin Clean2Rand、RoboCasa365では、約2倍の大きさのモデルでしか性能が良くない。
- 参考スコア(独自算出の注目度): 19.627751265822102
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce REKI, a 2.4B vision-language-action model (VLA) pretrained exclusively on public data that sets a new Pareto frontier between performance and model size: on LIBERO-Plus, RoboTwin Clean2Rand and RoboCasa365, it is outperformed only by models about twice its size. REKI consists of a vision-language model (VLM) followed by a flow-matching action expert, and is pretrained on a curated mixture of public robot, egocentric human and vision-language data. Additionally, we endow it with a memory that gives the policy access to its recent past at negligible cost: a few register tokens in the action expert summarise the output of the VLM at each frame and persist in the expert's cache. This memory improves success in simulation and on real robots, and makes oscillations between poses about four times rarer. REKI uses a simple model design and training paradigm, and is optimised to be efficient at training and inference. We release the full code across data curation, training, inference and evaluation, deployment, and all pretrained and finetuned model weights: https://github.com/kyutai-labs/reki.
- Abstract(参考訳): LIBERO-Plus,RoboTwin Clean2Rand,RoboCasa365では,約2倍の大きさのモデルでのみ性能が向上する。
REKIは、視覚言語モデル(VLM)と、フローマッチングアクションエキスパートで構成され、公立ロボット、エゴセントリックな人間、視覚言語データのキュレートされた混合に基づいて事前訓練される。
アクションエキスパートのいくつかのレジスタトークンは、各フレームにおけるVLMの出力を要約し、エキスパートのキャッシュに永続化します。
このメモリは、シミュレーションと実際のロボットの成功を改善し、ポーズ間の振動を4倍もレアにする。
REKIはシンプルなモデル設計とトレーニングパラダイムを使用しており、トレーニングと推論で効率的であることが最適化されている。
データキュレーション、トレーニング、推論と評価、デプロイメント、および事前訓練および微調整されたモデルウェイトの全コードをリリースします。
関連論文リスト
- RoboReward: General-Purpose Vision-Language Reward Models for Robotics [124.34685604054312]
視覚言語モデル(VLM)は、自動報酬モデルとして期待されているが、実際のロボットタスクにおけるそれらの効果は理解されていない。
大規模な実ロボットコーパス上に構築されたロボティクス報酬データセットとベンチマークであるRoboRewardを導入することで、このギャップを埋めることを目指している。
論文 参考訳(メタデータ) (2026-01-02T12:47:34Z) - Latent Action Pretraining Through World Modeling [1.988007188564225]
自己教師型手法で模倣学習モデルを事前学習するためのモデルに依存しないフレームワークであるLAWMを提案する。
当社のフレームワークは,タスクや環境,実施環境の移動に有効であるように設計されています。
論文 参考訳(メタデータ) (2025-09-22T21:19:10Z) - 2 OLMo 2 Furious [154.15728448754854]
我々は、私たちの完全にオープンな言語の次世代モデルであるOLMo 2を紹介します。
OLMo 2は、7B、13B、32Bスケールの高密度な自己回帰言語モデルを含む。
修正されたモデルアーキテクチャとトレーニングレシピについて説明する。
論文 参考訳(メタデータ) (2024-12-31T21:55:10Z) - The Neglected Tails in Vision-Language Models [51.79913798808725]
視覚言語モデル(VLM)はゼロショット認識において優れているが,その性能は視覚的概念によって大きく異なる。
ゼロショットVLMの不均衡性能を軽減するために,Retrieval-Augmented Learning (REAL)を提案する。
論文 参考訳(メタデータ) (2024-01-23T01:25:00Z) - Reproducible, incremental representation learning with Rosetta VAE [0.0]
変分オートエンコーダは、高次元データから低次元構造を蒸留する最も一般的な方法の一つである。
我々は、以前に学習した表現を蒸留し、新しいモデルを再現し、事前の結果に基づいて構築する手法であるRosetta VAEを紹介する。
R-VAEは、VAEや$beta$-VAEと同様にデータを再構成し、連続的なトレーニング環境でターゲット潜在空間の回復において、両方の手法より優れていることを示す。
論文 参考訳(メタデータ) (2022-01-13T20:45:35Z) - bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。
bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文 参考訳(メタデータ) (2021-10-14T04:05:25Z) - Few Shot Activity Recognition Using Variational Inference [9.371378627575883]
本稿では,少数のショットアクティビティ認識のための新しい変分推論ベースアーキテクチャフレームワーク(HF-AR)を提案する。
筆者らの枠組みは, 容積保存型家庭用フローを活用して, 新規クラスの柔軟な後部分布を学習する。
これにより、人間の行動認識のための最先端のショットアプローチと比較して、パフォーマンスが向上する。
論文 参考訳(メタデータ) (2021-08-20T03:57:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。