論文の概要: Code Owns the Simulation, Jev Owns the Evaluation

• arxiv url: http://arxiv.org/abs/2610.01834v1
• Date: Thu, 01 Oct 2026 15:06:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.215286
• Title: Code Owns the Simulation, Jev Owns the Evaluation
• Title（参考訳）: コードがシミュレーションを所有、Jevが評価を所有
• Abstract要約: 我々は、リフレクションテスト、一発マトリクスゲーム、テキストゲームALFWorld、ロボット制御でJevをテストする。 Jevは、入力が記述したものから正しいオプションを判断できる場合に成功する。 正しい選択肢がエフェシミュレーション(例えば、入力にないものを予測する)に依存するとき、例えば相手のアクションや先に来なければならないサブゴールなど、失敗する。
• 参考スコア（独自算出の注目度）: 31.098342142392813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Judgment models such as \jev{} return, in a single call and without reasoning text, a probability for each described option. This makes them attractive as an agent's action-selection layer, but it is unclear which decisions they can be trusted with. We test \jev{} on reflection tests, one-shot matrix games, the text game ALFWorld and robot control, and find a sharp boundary. \jev{} succeeds when the right option can be judged from what the input describes, which we call \emph{evaluation}. Specifically, it solves 99\% of the counterintuitive Cognitive Reflection Test questions. However, it fails when the right option depends on \emph{simulation} (i.e., predicting something not in the input), such as the opponent's action or the subgoal that must come first. In games, \jev{} plays suboptimally as if its rational opponent acted at random, because the opponent's action is not given. In ALFWorld, \jev{} favors commands that mention an object or place named in the task description. For example, given the task ``put a clean knife in the drawer'', \jev{} carries an unwashed knife straight to the drawer instead of first washing it at the sink. Surprisingly, many of these failures are not due to a lack of knowledge. Asked separately what the opponent will do, \jev{} usually answers correctly, and it responds well given the opponent's action. It fails when one call must both perform the simulation and evaluate based on it. This suggests letting code make the prediction or simulation. When code supplies it, such as a lookahead in ALFWorld and physics simulation in robot control, \jev{} becomes an expert controller through its general evaluation ability.
• Abstract（参考訳）: jev{}のような判断モデルは、単一の呼び出しで、テキストを推論せずに、記述された各オプションの確率を返す。 これによりエージェントのアクション選択レイヤとして魅力的になるが、どの決定を信頼できるかは明らかではない。 我々は,リフレクションテスト,一発マトリクスゲーム,テキストゲームALFWorld,ロボット制御で \jev{} をテストし,鋭い境界を求める。 emph{evaluation} と呼ぶ入力から正しいオプションを判断できる場合に、 \jev{} が成功する。 具体的には、直観的認知反射テストの質問の99%を解決します。 しかし、正しい選択が \emph{simulation} (つまり、入力にないものを予測する)に依存するとき、例えば相手のアクションや、最初に来る必要があるサブゴールなど、失敗する。 ゲームでは、jev{} は、相手のアクションが与えられないため、合理的な相手がランダムに振る舞うように、亜最適に振る舞う。 ALFWorldでは、 \jev{} はタスク記述に名前付けられたオブジェクトや場所を参照するコマンドを好んでいる。 例えば '`put a clean knife in the drawer'' というタスクを考えると、 \jev{} は洗わないナイフを流しで洗うのではなく、直接引き出しに運ぶ。 驚くべきことに、これらの失敗の多くは、知識の欠如によるものではない。 相手が何をするかを別々に尋ねると、 \jev{} は通常正しく答え、相手の行動によく反応する。 1つの呼び出しがシミュレーションを実行し、それに基づいて評価する必要がある場合に失敗する。 これは、コードが予測やシミュレーションを行うことを示唆している。 ALFWorldのルックアヘッドやロボット制御の物理シミュレーションなどのコードが提供する場合、その一般的な評価能力を通じて、Shajev{}はエキスパートコントローラとなる。

関連論文リスト

• GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions [37.944046267001745]
  コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。 現在のゲーム開発ベンチマークでは、固定された例を再生したり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。 我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。
  論文  参考訳（メタデータ） (2026-09-18T09:51:41Z)
• Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
  そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。 実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
  論文  参考訳（メタデータ） (2026-07-27T17:03:03Z)
• LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation [79.03892269184145]
  LivingArenaは自動汚染耐性評価フレームワークである。 モデルは質問を交互に提案し、相手が正しく答えられないアイテムを提示する。 質問者は、相手の知識境界を積極的に特定し、活用することが奨励される。
  論文  参考訳（メタデータ） (2026-06-19T06:20:58Z)
• RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue [2.7606655162305476]
  我々は,このテストを1対2の尋問ゲームとして運用するインタラクティブなWebアプリであるRogueAIを紹介する。 プレイヤーの任務は、不正行為を識別し、ターンの予算が尽きる前に「シャットオフ」することである。 プレイヤーが独自の騙し戦略をひそかに選択するナレーターエージェントでカスタムシナリオを設計する手続き的拡張であるAutoRogueAIを紹介する。
  論文  参考訳（メタデータ） (2026-06-11T13:07:02Z)
• People use fast, flat goal-directed simulation to reason about novel problems [68.55490343866545]
  私たちは、人々が初めてゲームをする方法に体系的かつ適応的に合理的であることを示します。 直感型ゲーマー」と呼ばれる計算認知モデルを用いて,これらの能力を説明する。 私たちの研究は、人々が新しい問題に遭遇するとき、どのように素早く評価し、行動し、提案するかに関する新しい洞察を提供する。
  論文  参考訳（メタデータ） (2025-10-13T15:12:08Z)
• Conversation Games and a Strategic View of the Turing Test [0.0]
  私たちは、評決ゲームと呼ばれるゲームのサブセットに焦点を当てています。 評決ゲームでは、2人のプレーヤーが交互に会話に寄与し、各ステージで非ストラテジックな審査員によって評価される。 シミュレーション実験により提案する概念の実践的妥当性を示し、戦略エージェントが高いマージンでナイーブエージェントより優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-30T16:08:37Z)
• Counterexamples in self-testing [0.0]
  非ローカルゲームにおける自己テストについて検討する。 特に、ある特定の量子状態の存在を証明した量子優位性を持つ2党の非局所ゲームやベルの不等式は、すべて不等式であるだろうか? 私たちのカウンターサンプルは、独立した関心を持つゲームのクラスに基づいています。
  論文  参考訳（メタデータ） (2022-12-22T09:52:18Z)
• Are AlphaZero-like Agents Robust to Adversarial Perturbations? [73.13944217915089]
  AlphaZero(AZ)は、ニューラルネットワークベースのGo AIが人間のパフォーマンスを大きく上回ることを示した。 私たちは、Go AIが驚くほど間違った行動を起こさせる可能性のある、敵対的な状態が存在するかどうか尋ねる。 我々は、Go AIに対する最初の敵攻撃を開発し、探索空間を戦略的に減らし、効率よく敵の状態を探索する。
  論文  参考訳（メタデータ） (2022-11-07T18:43:25Z)
• Learning to Play Sequential Games versus Unknown Opponents [93.8672371143881]
  学習者が最初にプレーするゲームと、選択した行動に反応する相手との連続的なゲームについて考察する。 対戦相手の対戦相手列と対戦する際,学習者に対して新しいアルゴリズムを提案する。 我々の結果には、相手の反応の正則性に依存するアルゴリズムの後悔の保証が含まれている。
  論文  参考訳（メタデータ） (2020-07-10T09:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。