論文の概要: Orca: The World is in Your Mind

• arxiv url: http://arxiv.org/abs/2606.30534v2
• Date: Tue, 30 Jun 2026 13:57:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 13:50:27.735981
• Title: Orca: The World is in Your Mind
• Title（参考訳）: Orca: 世界はあなたの心の中にある
• Abstract要約: 一般世界基盤モデルの初期インスタンス化であるOrcaを紹介する。 Orcaはマルチモーダルな世界信号から統一された世界潜在空間を学び、それをマルチモーダルな読み出しインターフェイスを通じて公開する。
• 参考スコア（独自算出の注目度）: 82.01041475853545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines. These results show that Orca, as a general world foundation model, presents a promising approach to understanding, predicting, and acting upon the world. Finally, we discuss the current limitations, aiming to provide useful insights and inspiration for the community.
• Abstract（参考訳）: 一般世界基盤モデルの初期インスタンス化であるOrcaを紹介する。 Orcaはマルチモーダルな世界信号から統一された世界潜在空間を学び、それをマルチモーダルな読み出しインターフェイスを通じて公開する。 我々は、孤立した次段階、次段階、または次段階の予測を最適化するのではなく、世界に対する理解、予測、行動のための統一された状態遷移モデリングルートを提供する、次段階の予測に重点を置いています。 Orcaは2つの相補的なパラダイムを通じて学習する: 無意識学習は連続したビデオから高密度な自然状態遷移をキャプチャし、意識学習モデルは言語に記述されたイベントとVQAの監督によって意味のある状態遷移を分離する。 事前学習のために,125K時間のビデオデータと1億6000万件のイベントアノテーションを含む,大規模なワールドラーニングインベントリデータを構築した。 プレトレーニングの後、Orcaは統一された世界潜在空間を学ぶ。 学習した潜伏者が下流を支持するかどうかを調べるために、テキスト生成、画像予測、具体化アクション生成の3つの代表的な下流読み出しによって評価する。 Orcaのバックボーンは凍結されており、軽量のモダリティ専用デコーダのみがトレーニング可能である。 実験では、提案したパラダイムのスケーラビリティを示し、より強力な世界潜伏がより強力な下流の読み出しを可能にすることを検証する。 Orcaは、同様のサイズの特別なベースラインを上回ります。 これらの結果は、一般的な世界基盤モデルであるOrcaが、世界を理解し、予測し、行動するための有望なアプローチを示すことを示している。 最後に、コミュニティに有用な洞察とインスピレーションを提供することを目的として、現在の制限について議論する。

関連論文リスト

• Code World Model: Coding Agent as World Brain [51.31807545747191]
  私たちは、世界進化と視覚的実現を分離するフレームワークであるCode World Modelを紹介します。 コーディングエージェントは世界脳として機能し、出来事とその結果について推論する。 実行可能状態と視覚的生成を結びつけるために,フレームの時間的制約をプロキシビデオにエンコードするプロキシ表現を導入する。
  論文  参考訳（メタデータ） (2026-08-26T15:37:33Z)
• PhiZero: A World Model Built Around Physical Language [50.268271884186845]
  PhiZeroは物理言語を中心に構築された物理世界モデルである。 物理言語シーケンスとして将来の世界進化を推論し、推論された遷移をビデオにレンダリングする。 本研究では,現実的かつインタラクティブな世界モデリング,微粒な動作条件シミュレーション,ゼロショットモーショントランスファーの可能性を示す。
  論文  参考訳（メタデータ） (2026-07-30T17:59:46Z)
• X-Foresight: A Joint Vision-Action Causal Forecasting Network via Predictive World Modeling [47.54820149491433]
  我々は,ビジョン・ランゲージ・アクション・アーキテクチャに直接統合された予測的世界モデルであるX-Foresightを紹介する。 隣接するフレームではなく意味的に離れたチャンクを予測することで、X-Foresightは自明な外挿を逃れる。 総合的な実験により、X-Foresightは計画性能においてVLAベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-05-24T06:37:04Z)
• DreamWorld: Unified World Modeling in Video Generation [32.857497363728584]
  我々は、相補的な世界の知識をビデオジェネレータに統合する統合フレームワーク、textbfDreamWorldを紹介した。 我々はDreamWorldが世界の一貫性を改善し、VBenchでWan2.1を2.26ポイント上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-28T05:02:39Z)
• Can World Models Benefit VLMs for World Dynamics? [59.73433292793044]
  本研究では,世界モデル先行モデルがビジョンランゲージモデルに移行した場合の能力について検討する。 最高の性能を持つDynamic Vision Aligner (DyVA) と名付けます。 DyVAはオープンソースとプロプライエタリの両方のベースラインを超え、最先端または同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-10-01T13:07:05Z)
• Back to the Features: DINO as a Foundation for Video World Models [29.116268020812072]
  我々は、DINOv2の潜在空間における将来のフレームを予測するために訓練された、強力なジェネラリストビデオワールドモデルであるDINO-worldを紹介する。 トレーニング済みの画像エンコーダを活用して、大規模未処理ビデオデータセット上で将来の予測器をトレーニングすることにより、DINO-worldは多様なシーンの時間的ダイナミクスを学習する。
  論文  参考訳（メタデータ） (2025-07-25T17:54:10Z)
• Pandora: Towards General World Model with Natural Language Actions and Video States [61.30962762314734]
  Pandoraは、ビデオを生成して世界状態をシミュレートし、自由テキストアクションによるリアルタイム制御を可能にするハイブリッド自動回帰拡散モデルである。 Pandoraは、大規模な事前トレーニングと命令チューニングを通じて、ドメインの汎用性、ビデオの一貫性、制御性を実現する。
  論文  参考訳（メタデータ） (2024-06-12T18:55:51Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• ProxyCap: Real-time Monocular Full-body Capture in World Space via Human-Centric Proxy-to-Motion Learning [47.228139909747235]
  本稿では,世界空間の動きを学習するための人間中心のプロキシ・ツー・モーション学習スキームであるProxyCapを紹介する。 我々のネットワークは人間中心の視点から人間の動きを学ぶように設計されている。 本研究では,世界空間における足場接触を可能とした実時間単眼フルボディキャプチャシステムについて紹介する。
  論文  参考訳（メタデータ） (2023-07-03T17:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。