論文の概要: System Switch: When Should a Fast Decision Model Stop and Think?
- arxiv url: http://arxiv.org/abs/2610.09683v1
- Date: Wed, 07 Oct 2026 08:44:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.810901
- Title: System Switch: When Should a Fast Decision Model Stop and Think?
- Title（参考訳）: システムスイッチ: 高速決定モデルはいつ停止して考えるべきか?
- Abstract要約: ゲートが開いたときのみ、意思決定と手動制御を推論的視覚言語モデルに組み込む高速学習アクターについて検討する。
ホールドアウトされた質問では0.15Bから9Bまでのゼロショット決定モデルは、偶然よりも1.6-1.8倍の頻度でアイテムを収集する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dual-process agents pair a fast policy with a slow deliberative model. In real-time settings the slow model usually runs continuously; in turn-based agents and robot planners it is invoked on events such as uncertainty or a detected failure. We study a fast learned actor that takes every decision and hands control to a reasoning vision-language model only when a gate opens, while the game keeps running. We use closed-loop Doom and the new open "System One" typed-decision models, served through a common llama.cpp interface. On 900 held-out questions, (i) zero-shot decision models from 0.15B to 9B parameters choose to collect items 1.6-1.8 times more often than chance among their errors, in any option order, although the order changes some models' accuracy; (ii) accuracy, calibration and sensitivity (how well confidence separates right from wrong answers) are distinct: models of similar accuracy differ widely in AUROC, and the confidence of the most sensitive one tracks which kinds of situation it fails, not which answers are wrong; (iii) offline, deferring the least confident 30% of decisions to a reasoning model gains over random deferral in proportion to the actor's AUROC (rank correlation 0.87); with actor and rate chosen on held-out games the gain is +0.13 [0.08, 0.18] with doomLaya's option order and +0.08 [0.02, 0.14] with shuffled options, and reasoning carries about half of it; (iv) in closed loop (33 games, three seeds) no variant reaches the exit. Committing to plans, the reasoner's or a fixed explore rule's, opens more doors and makes an actor that stands still play; with the rule the agent dies more often. Told that some doors need keys, the reasoner takes ordinary doors for locked ones, which the state cannot tell apart; without that knowledge it goes back to collecting. We release code, prompts, data and logs.
- Abstract（参考訳）: デュアルプロセスエージェントは、遅い熟考モデルと高速なポリシーをペアリングする。
ターンベースのエージェントとロボットプランナーでは、不確実性や検出された失敗などのイベントで呼び出される。
ゲートが開き、ゲームが継続するときにのみ、意思決定と手動制御を行う高速学習アクターについて検討する。
クローズドループのDoomと、新しいオープンな"System One"型付き決定モデルを使い、共通のllama.cppインターフェースを介して機能します。
900の質問が持たれた。
(i)0.15Bから9Bパラメータのゼロショット決定モデルでは、任意のオプション順でエラーの確率よりも1.6～1.8倍の頻度でアイテムを収集するが、順序はモデルの精度を変える。
(二)精度、キャリブレーション、感度(信頼度が間違った回答と正しく区別されているか)は、AUROCにおいて類似の精度のモデルが広く異なり、最も敏感な1つのトラックの信頼度は、どの答えが間違っているかではなく、どの状況で失敗するかを判断する。
(3)オフラインで、アクターのAUROC(ランク相関0.87)に比例して、推論モデルに対する決定の最も確実な30%がランダムな遅延よりも優先され、ホールトアウトゲームで選択されたアクターとレートが+0.13[0.08, 0.18]、DoomLayaのオプションオーダーで+0.08[0.02, 0.14]、シャッフルオプションで+0.08[0.02, 0.14]となり、推論が約半分となる。
(4) 閉ループ(33ゲーム、3種)では、変種は出口に届かない。
計画に従うと、理性者または固定された探索規則は、より多くの扉を開き、まだ演奏している俳優を作らせ、エージェントはより頻繁に死ぬ。
あるドアには鍵が必要だと判断された理性者は、ロックされたドアの通常のドアを取るが、それは州が区別できない。
コード、プロンプト、データ、ログをリリースします。
関連論文リスト
- Have I Seen Enough? Frozen Video-Language Models Encode Evidence Readiness [14.606133970882352]
凍結したビデオLLMは、タイムスタンプ付きエビデンスからラベル付けされた線形可読なエビデンス可読性信号を持つことを示す。
我々は、読み出しを、一致したビデオ時間で最大9.75ppの精度を向上する回答最適化ポリシーであるレディティーゲーティングに変換する。
論文 参考訳（メタデータ） (2026-10-06T15:43:04Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳（メタデータ） (2026-10-01T05:57:14Z) - The Price of Correlated Tests: How Strict Should a Model Release Gate Be? [0.0]
機械学習モデルが出荷される前には、自動テストスイートをパスしなければならないことが多い。
私たちはリリースゲートを設計上の問題として扱い、モデルが通過すべきテスト数を選択して、クリアされたモデルが記述された信頼性の目標を満たすようにします。
両方のクラスが同じ遅延相関を持つ場合、より厳密なゲートが常に信頼性を高めることを証明します。
論文 参考訳（メタデータ） (2026-10-01T03:27:54Z) - StreamDecisionBench: Evaluating Decisions in Force on Evolving Language Streams [0.0]
言語モデルは、新しいものが到着するまで、最新の回答を適用するアプリケーションにおいて、ますますリアルタイムな決定をする。
遅れた答えは、顧客がカードの詳細を読み出している間、コールレコーダーがまだ実行されているなど、古い決定を延ばすことができる。
StreamDecisionBench(SDB)は、4つのアプリケーションファミリで8つのストリーミングシナリオのデータセットで、パブリックルールから導かれる参照決定を実行可能なものにします。
論文 参考訳（メタデータ） (2026-09-29T22:15:49Z) - Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。
タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。
その結果、自動決定ゲートの条件依存ルールが得られる。
論文 参考訳（メタデータ） (2026-09-29T19:57:59Z) - Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。
提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。
記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
論文 参考訳（メタデータ） (2026-09-21T11:59:07Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - When Agents Lie: Premeditation, Persistence, and Exploitation in Repeated Games [69.060029640261]
10ラウンドにわたる同質群と異質群の6つのゲームにおけるフロンティアモデルの評価を行った。
異なるモデルは発表を無矛盾に解釈し、いくつかはバインディングのコミットメントとして、もうひとつは安価なトークとして解釈する。
論文 参考訳（メタデータ） (2026-07-06T14:17:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。