論文の概要: Fail Loudly: An Auditable Runtime for Agentic Data Analysis

• arxiv url: http://arxiv.org/abs/2609.32528v1
• Date: Sat, 26 Sep 2026 12:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 07:07:35.536564
• Title: Fail Loudly: An Auditable Runtime for Agentic Data Analysis
• Title（参考訳）: Fail Loudly: エージェントデータ分析のための監査可能なランタイム
• Abstract要約: 我々は、エージェントの分析的選択を検査可能とし、実行フィードバックを通じてそれらのリビジョンをサポートする監査可能なランタイムRADARを提案する。 RADARは3つのコアメカニズムを通じて動作している。まず、エビデンス保存探索モジュールは、ソース位置と観測範囲を保持しながら、タスク関連コンテンツを検索する。 次に、ランタイムは型付き演算子を使用して、エージェントの宣言された入力、操作引数、結果の観察を記録する。 競合が検出されると、ランタイムは操作を拒否するか、診断フィードバックを提供し、エラーが伝播する前にエージェントが選択を修正できる。
• 参考スコア（独自算出の注目度）: 5.552367153808067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have enabled data-science agents to automate multi-step analyses over heterogeneous files. However, incorrect choices regarding data sources, scope, or statistical definitions often lead to silent errors: computations execute successfully but produce plausible yet incorrect outputs that fail to answer the intended question. To mitigate this, we present RADAR, an auditable runtime that makes an agent's analytical choices inspectable and supports their revision through execution feedback. RADAR operates through three core mechanisms. First, an evidence-preserving exploration module retrieves task-relevant content while retaining source locations and observation coverage. Next, the runtime uses typed operators to record the agent's declared inputs, operation arguments, and resulting observations. Finally, runtime validation checks proposed operations against these observations. When a conflict is detected, the runtime rejects the operation or provides diagnostic feedback, allowing the agent to revise its choices before errors propagate. This design enables agents to fail loudly while leaving semantic interpretation to the LLM. On KramaBench, RADAR achieves overall scores of 0.723 with full source retrieval and 0.747 with gold sources supplied, corresponding to relative gains of 35.9% and 28.8% over the strongest baselines. Beyond KramaBench, RADAR achieves relative performance gains of 14.0% on DA-Code and 59.3% on DABStep, demonstrating its applicability across diverse agentic data-analysis workflows.
• Abstract（参考訳）: 大規模言語モデル(LLM)により、データサイエンスエージェントは異種ファイルの多段階解析を自動化することができる。 しかし、データソース、スコープ、統計的定義に関する誤った選択は、しばしばサイレントエラーを引き起こす。 これを軽減するために、エージェントの分析選択を検査可能とし、実行フィードバックを通じてそれらのリビジョンをサポートする監査可能なランタイムRADARを提案する。 RADARは3つのコアメカニズムを介して動作する。 まず、エビデンス保存探索モジュールは、ソース位置と監視範囲を保持しながら、タスク関連コンテンツを検索する。 次に、ランタイムは型付き演算子を使用して、エージェントの宣言された入力、操作引数、結果の観察を記録する。 最後に、ランタイムバリデーションは、これらの観測に対して提案された操作をチェックする。 競合が検出されると、ランタイムは操作を拒否するか、診断フィードバックを提供し、エラーが伝播する前にエージェントが選択を修正できる。 この設計により、エージェントはLLMに意味論的解釈を残しながら大音量で失敗することができる。 クラマベンチでは、RADARの総得点は0.723点、全ソースは0.747点、金は35.9%、ベースラインは28.8%となっている。 KramaBench以外にも、RADARはDA-Codeで14.0%、DABStepで59.3%という相対的なパフォーマンス向上を達成した。

関連論文リスト

• Probe-and-Refine Tuning of Repository Guidance for Coding Agents [0.0]
  LLMベースのコーディングエージェントは、リポジトリに関するより高度な運用知識を必要とする。 近年の研究では, LLMによる誘導がエージェント性能に悪影響を及ぼすか否かが議論されている。 本稿では,その指導方法が決定変数であることを示す。
  論文  参考訳（メタデータ） (2026-06-18T17:30:15Z)
• Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
  最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。 2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。 我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:26Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• TDAD: Test-Driven Agentic Development - Reducing Code Regressions in AI Coding Agents via Graph-Based Impact Analysis [0.0]
  TDADはソースコードとテスト間の依存性マップを構築し、パッチをコミットする前に、エージェントはどのテストを検証して自己修正するかを知っている。 本稿では,AI符号化エージェントの事前変更影響分析を行うオープンソースツールであるTDADを提案する。
  論文  参考訳（メタデータ） (2026-03-18T17:38:22Z)
• When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
  有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
  論文  参考訳（メタデータ） (2026-02-15T14:21:43Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。