論文の概要: PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution

• arxiv url: http://arxiv.org/abs/2610.04737v1
• Date: Sat, 03 Oct 2026 20:03:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 17:14:53.46641
• Title: PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution
• Title（参考訳）: PyINE: コード実行によるスケーラブルな引用と監視のためのフレームワーク
• Abstract要約: 推論モデルは、コストが安いが誤解を招くショートカットにデフォルトを保ちながら、タスクを解決できる。 PyINEはPythonのインスツルメンテーションプログラムを使ってスケーラブルなエレケーションと監視を行うフレームワークである。 PyINE-v1は100万近い決定論的実行トレースから構築された最初のリリースです。
• 参考スコア（独自算出の注目度）: 68.74093425009342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning models can remain capable of solving a task while still defaulting to cheaper but misleading shortcuts. This creates a central oversight problem: when a model gives an answer with plausible but incomplete reasoning, can an overseer determine whether that output should be trusted? To study this problem, we introduce PyINE, a framework for scalable elicitation and oversight using instrumented Python programs as a verifiable execution substrate. In PyINE, programs define task environments, execution traces provide authoritative labels for outcomes and intermediate facts, and task variants can be generated mechanically rather than through static human annotation. We instantiate the framework in PyINE-v1, a first release built from nearly one million deterministic execution traces and over 500,000 matched LLM-generated code variants used for counterfactual evaluation. Using standard RL with verifiable rewards on cue-varied tasks, we train a shortcut-following model that improves substantially at predicting execution outcomes while still making systematic errors when misleading human-facing cues conflict with the program's realized behavior. We then evaluate activation probes, trained text classifiers, prompted judges, and a lightweight debate protocol as overseers of this model. We find that performance pooled at the dataset level can hide weak coverage of the failures that matter most: cheap learned overseers often miss rare shortcut-driven errors, while stronger model-based checks are more balanced but substantially costlier and harder to turn into reliable thresholded decisions. PyINE-v1 turns this failure-mode coverage problem into a reusable experimental setting for developing oversight methods that are verifiable, failure-mode-aware, and cost-sensitive.
• Abstract（参考訳）: 推論モデルは、コストが安いが誤解を招くショートカットにデフォルトを保ちながら、タスクを解決できる。 モデルが妥当だが不完全な推論で答えを与える場合、監督者はそのアウトプットが信頼されるべきかどうかを判断できますか? そこで本研究では,Pythonプログラムを検証可能な実行基盤として使用した,スケーラブルな推論と監視のためのフレームワークであるPyINEを紹介する。 PyINEでは、プログラムはタスク環境を定義し、実行トレースは結果と中間事実の権威ラベルを提供する。 PyINE-v1でフレームワークをインスタンス化する。これは100万近い決定論的実行トレースと50万以上の一致したLLM生成コードバリアントから構築された最初のリリースで、反ファクト評価に使用される。 そこで我々は,cue-variedタスクに対する検証可能な報酬を持つ標準RLを用いて,プログラムが実現した動作と相反する人間の顔の手がかりを誤解する場合に,体系的なエラーを発生させることなく,実行結果の予測を大幅に改善するショートカットフォローモデルを訓練する。 次に、アクティベーションプローブ、訓練されたテキスト分類器、審査員の誘導、およびこのモデルの監督者としての軽量な討論プロトコルを評価する。 安価な学習監督者は、しばしば稀なショートカット駆動のエラーを見逃しがちですが、より強力なモデルベースのチェックは、よりバランスが取れますが、かなりコストが高く、信頼できるしきい値の決定に転換するのは難しいのです。 PyINE-v1は、この障害モードカバレッジ問題を再利用可能な実験環境に変え、検証可能で、障害モードを認識し、コストに敏感なメソッドを開発する。

関連論文リスト

• Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis in Agentic LLM Systems [47.66236392009794]
  LLM(Large Language Model)ベースのエージェントは、様々な複雑な対話的タスクにおいて、例外的なパフォーマンスを示す。 textitTrajectory Graph Copilot は LLM エージェントの副操縦士' として機能する新しいフレームワークで,実行前に潜在的な動作エラーを診断する。
  論文  参考訳（メタデータ） (2026-07-29T20:14:43Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Runtime Execution Traces Guided Automated Program Repair with Multi-Agent Debate [8.424102114588559]
  自動プログラム修復(APR)は複雑なロジックエラーとサイレント障害に悩まされる。 現在のLLMベースのAPRメソッドは主に静的であり、ソースコードと基本的なテスト出力に依存している。 我々は、パッチ検証のための共有制約としてランタイム事実を活用するマルチエージェントフレームワークであるTraceRepairを提案する。
  論文  参考訳（メタデータ） (2026-04-03T02:23:25Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• Factor(U,T): Controlling Untrusted AI by Monitoring their Plans [5.673677307189851]
  Factor($,$$)を導入します。信頼できないが悪意のあるモデルが分解され、信頼できるモデルが子タスクを実装します。 我々はPythonコーディングタスクのデータセット上でFacterを評価する。 強力な安全性(1.2%)と優れた差別(AUROC 0.96)を実現し、分解のみの監視が失敗した場合に実装コンテキストの監視が成功することを示した。
  論文  参考訳（メタデータ） (2025-12-12T19:11:34Z)
• NExT: Teaching Large Language Models to Reason about Code Execution [50.93581376646064]
  大規模言語モデル(LLM)のコードは通常、プログラムの表面テキスト形式に基づいて訓練される。 NExTは,プログラムの実行トレースを検査し,実行時の動作を判断する手法である。
  論文  参考訳（メタデータ） (2024-04-23T01:46:32Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。