論文の概要: Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features
- arxiv url: http://arxiv.org/abs/2607.22739v1
- Date: Wed, 22 Jul 2026 18:34:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.849612
- Title: Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features
- Title（参考訳）: Cortex: 凍結した視覚機能を備えたクォークのためのコンパクトな動作クローン
- Abstract要約: 視覚的に豊かな1対1のゲームにおいて、単純な行動閉ざしポリシーがどこまで進歩するかを、強化学習や明示記憶を追加する前に研究する。
Cortexは、凍ったDINOv3エンコーダ上の6層トランスフォーマーで1098万のトレーニング可能なパラメータを持つコンパクトなQuakeポリシーである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study how far a deliberately simple behavioral-cloning policy can progress in a visually rich first-person game before adding reinforcement learning or explicit memory. Cortex is a compact Quake policy with 10.98 million trainable parameters in a six-layer transformer over a frozen DINOv3 encoder. It is trained on the Quake subset of the public Pixels2Play corpus: 6,849 recordings (about 474.7 hours), represented as 17.09 million cached decision frames with keyboard and mouse actions. One sampled training epoch uses 517,048 four-frame windows and takes 3.3 minutes of policy-head optimization on one RTX 5080, excluding one-time feature extraction. We evaluate two independent batches of 20 stochastic, 120-second episodes on Quake E1M1. Cortex does not complete the level, but every episode reaches the opening door, button room, and gate descent; 19 of 20 episodes in each batch record at least one kill. Under the same time-controlled harness, released P2P-150M and NitroGen checkpoints remain shallower in five matched-duration episodes each. These comparisons are limited by small reference samples and different native interfaces. Ablations show that denser visual tokens improve combat and survival, while longer optimization and naive action history improve offline metrics without consistently improving play. The remaining failures are consistent with covariate shift and motivate targeted corrective data. We release the policy implementation, checkpoint, and a representative rollout.
- Abstract（参考訳）: 本研究では,視覚的に豊かな1対1のゲームにおいて,意図的な行動閉鎖政策がどこまで進展するかを,強化学習や明示記憶を追加する前に検討する。
Cortexは、凍ったDINOv3エンコーダ上の6層トランスフォーマーで1098万のトレーニング可能なパラメータを持つコンパクトなQuakeポリシーである。
公開のPixels2PlayコーパスのQuakeサブセット(約474.7時間)でトレーニングされており、キーボードとマウスアクションを備えた179百万のキャッシュ決定フレームとして表現されている。
1つのサンプルトレーニングエポックでは、517,048の4フレームウィンドウを使用し、1回の特徴抽出を除いてRTX 5080のポリシーヘッド最適化に3.3分を要する。
クエークE1M1では,20の確率,120秒の独立バッチを2回評価した。
コルテックスはレベルを達成しないが、各エピソードはオープニングドア、ボタンルーム、ゲート降下に達する。
同時に、P2P-150MとNitroGenのチェックポイントは、それぞれマッチした5エピソードで浅く保たれていた。
これらの比較は、小さな参照サンプルと異なるネイティブインタフェースによって制限されている。
アブレーションは、より密集した視覚トークンが戦闘と生存を改善する一方で、より長い最適化と単純なアクション履歴は、プレイを継続的に改善することなくオフラインメトリクスを改善することを示している。
残りの障害は共変量シフトと一致し、ターゲットの修正データをモチベートする。
ポリシーの実装、チェックポイント、および代表的なロールアウトをリリースします。
関連論文リスト
- PonderPounce: A Pretrained MLLM as an Episode Context Engine for Robot Control [25.920573627524945]
PonderPounceはMLLMのネイティブ因果コンテキストをロボットメモリとして再利用する。
パウンスは現在の観察、指示、受容を直接受け取ります。
ベーススケールのトレーニングデータを持つRoboMMEでは、PonderPounceは同じPounceアーキテクチャとインターフェースの下で、9Bで60.83%、0.8Bで50.04%に達する。
論文 参考訳（メタデータ） (2026-08-25T06:24:36Z) - Detect Early, Escalate Rarely: Anytime Detection of AI-Generated Video from the Compressed Bitstream [0.764671395172401]
AI生成ビデオの検出器はオフラインで評価される。
クリップはピクセルにデコードされ、大きな視覚言語モデルによって1回得点される。
我々は、タスクをストリーミング認識として再キャストし、すでに書いた動き場をビットストリームにスコアする。
論文 参考訳（メタデータ） (2026-07-21T18:00:51Z) - Patch Policy: Efficient Embodied Control via Dense Visual Representations [52.199962246592285]
我々は,フルVLMの計算オーバーヘッドを伴わずに,事前訓練済みの高密度パッチトークンを直接消費するパッチポリシーを開発した。
提案手法は,最先端のグローバルプール表現を用いた政策よりも40%の相対的な改善を実現している。
微調整されたOpenVLA-OFTを18%上回り、パラメータの約0.7%を使用する。
論文 参考訳（メタデータ） (2026-07-20T17:59:41Z) - Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving [9.75159490914078]
大規模言語モデルは、命令の追従とシーン推論をエンドツーエンドの駆動にもたらす。
既存のクローズドループエージェントはこのギャップを、別のシミュレーションティッチでモデルを呼び出すことで隠している。
この妥協を取り除いた高速スローアーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-07-17T04:40:02Z) - Moving Like a Human: Ego-Motion-Normalized Temporal Signatures for Real-Time Aerial Person Tracking on Milliwatt-Class Hardware [1.932555230783329]
追跡はドローン自体で行わなければならない。
EMT-Detは、エゴモーションを推定する5段階のシステムである。
Raspberry Pi Zero 2Wでは、パイプラインは31.85 FPS、AP25は0.462、UAVは0.714である。
論文 参考訳（メタデータ） (2026-07-09T19:30:00Z) - VisualClaw: A Real-Time, Personalized Agent for the Physical World [76.89211120690028]
2つの原則に基づいて構築された自己進化型マルチモーダルエージェントであるVisualClawを紹介する。
第一に、ハイブリッド符号化は、情報の少ないストリーミングフレームをカスケードゲートでフィルタリングすることにより、デプロイメントコストを低減する。
第二に、スキルの進化により、エージェントは失敗から学び、将来の質問に役立つスキルバンク更新を生成する。
論文 参考訳（メタデータ） (2026-06-15T06:58:22Z) - Two-Pass Zero-Shot Temporal-Spatial Grounding of Rare Traffic Events in Surveillance Video [0.0]
実際のCCTV映像における地上交通事故は、ラベル付き事故映像のトレーニングがしばしば禁止される希少な問題である。
我々は、凍結した視覚言語モデルからこのジョイント出力を引き出す、微調整のパイプラインを提案する。
論文 参考訳（メタデータ） (2026-05-02T16:05:44Z) - Automated Bug Frame Retrieval from Gameplay Videos Using Vision-Language Models [47.63488459021783]
報告されたバグ記述に最もよくマッチする単一のフレームに、各動画を縮小するパイプラインを導入する。
このアプローチは手作業を大幅に削減し、トリアージと回帰チェックを高速化します。
ゲーム業界全体で品質保証チームや開発者に実践的なメリットを提供する。
論文 参考訳（メタデータ） (2025-08-06T21:52:15Z) - From Play to Replay: Composed Video Retrieval for Temporally Fine-Grained Videos [48.666667545084835]
Composed Video Retrieval(CoVR)は、クエリビデオと、意図した変更を記述した修正テキストが与えられたターゲットビデオを取得する。
TF-CoVRは、時間的にきめ細かなCoVRに特化した最初の大規模ベンチマークである。
TF-CoVRは体操とダイビングに重点を置いており、FinGymとFineDivingから180Kのトリプルを提供している。
論文 参考訳（メタデータ） (2025-06-05T17:31:17Z) - It Takes Two: Masked Appearance-Motion Modeling for Self-supervised
Video Transformer Pre-training [76.69480467101143]
自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。
本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。
一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
論文 参考訳（メタデータ） (2022-10-11T08:05:18Z) - Spatiotemporal Contrastive Video Representation Learning [87.56145031149869]
ラベルのないビデオから視覚的表現を学習するための,自己指導型コントラスト映像表現学習(CVRL)法を提案する。
我々の表現は、コントラスト時間的損失を用いて学習され、同じ短いビデオから2つの強化されたクリップが埋め込み空間にまとめられる。
本研究では,ビデオ自己教師型学習におけるデータ向上の要因について検討し,空間的情報と時間的情報の両方が重要であることを明らかにする。
論文 参考訳（メタデータ） (2020-08-09T19:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。