論文の概要: Beyond the Text: Verifying That Agent-Written Papers Are Backed by Their Artifacts

• arxiv url: http://arxiv.org/abs/2609.22111v1
• Date: Tue, 18 Aug 2026 09:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.7151
• Title: Beyond the Text: Verifying That Agent-Written Papers Are Backed by Their Artifacts
• Title（参考訳）: テキストの向こうで、エージェントが書いた紙がアーティファクトに支えられていることを確かめる
• Abstract要約: 本稿では,エージェント生成研究文書とその関連リポジトリ間の一貫性を評価するためのフレームワークReAgentを提案する。 ReAgentは研究文書から科学的クレームの構造的表現を構築し、それをリポジトリ分析と証拠収集のガイドに利用する。 実験結果から,ReAgentは報告された研究結果と支援されたリポジトリ証拠の矛盾を効果的に識別することを示した。
• 参考スコア（独自算出の注目度）: 26.308177189331516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model agents are increasingly capable of conducting research autonomously, producing research documents alongside the code and experiments that ostensibly support them. Yet whether the reported findings are consistently supported by corresponding implementations and execution evidence remains largely unexplored: existing review practices primarily assess textual quality and cannot reliably identify inconsistencies such as hard-coded metrics, unimplemented methods, or unsupported experimental results. We present ReAgent, an automated auditing framework for assessing the consistency between agent-generated research documents and their associated repositories. ReAgent constructs structured representations of scientific claims from research documents and uses them to guide repository analysis and evidence collection. Static auditing examines whether claimed methodologies, implementations, and experimental configurations are consistently reflected in the repository, while dynamic auditing executes relevant experiments and collects execution evidence to assess empirical findings. By combining static analysis with dynamic evidence, ReAgent identifies inconsistencies that may remain hidden under either perspective alone, such as experiments that reproduce reported numbers while deviating from the claimed methodology. The collected evidence and audit decisions are organized into a structured repository-level audit report, enabling transparent evidence traceability. We evaluate ReAgent on a manually curated benchmark of agent-generated research document--repository pairs and compare it against representative static and reproduction-based baselines. Experimental results demonstrate that ReAgent effectively identifies inconsistencies between reported research findings and their supporting repository evidence.
• Abstract（参考訳）: 大規模言語モデルエージェントは研究を自律的に行う能力が増しており、コードや実験と共に研究文書を作成できる。 既存のレビュープラクティスは、主にテキストの品質を評価し、ハードコードされたメトリクス、実装されていないメソッド、あるいはサポートされていない実験結果などの不整合を確実に識別することができない。 本稿では,エージェント生成研究文書と関連するリポジトリの一貫性を評価するための自動監査フレームワークReAgentを提案する。 ReAgentは研究文書から科学的クレームの構造的表現を構築し、それをリポジトリ分析と証拠収集のガイドに利用する。 静的監査は、要求された方法論、実装、実験的な構成がリポジトリに一貫して反映されているかどうかを調べ、動的監査は関連する実験を実行し、経験的な結果を評価するために実行証拠を収集する。 静的解析と動的エビデンスを組み合わせることで、ReAgentは、主張された方法論から逸脱しながら報告された数を再現する実験のような、どちらの視点でも隠れている可能性のある矛盾を識別する。 収集されたエビデンスと監査の決定は、構造化されたリポジトリレベルの監査レポートにまとめられ、透過的なエビデンストレーサビリティを可能にします。 我々はReAgentをエージェント生成研究文書の手作業によるベンチマークで評価し、それらを静的および再生ベースラインの代表的なベースラインと比較した。 実験結果から,ReAgentは報告された研究結果と支援されたリポジトリ証拠の矛盾を効果的に識別することを示した。

関連論文リスト

• Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model [0.0]
  164の学術作品、100の実践記録、29のベンチマーク記録、17の著者・システム・ケース・レコードを合成する。 構造化されたマルチボーカルレビュー、ターゲットとする更新監査、ソフトウェアエンジニアリングカバレッジ分析、分散システムエビデンス合成として書かれた。 本は、深さ56の信頼性記録と13のリサーチリードを含む、バージョン管理された206の信頼性記録を寄稿している。
  論文  参考訳（メタデータ） (2026-08-14T01:34:25Z)
• EviGraph: Evidence-Guided Autonomous Research Agents [12.29802995923839]
  我々は,研究プロセスを表す自律的な研究フレームワークであるEviGraphを,型付きエビデンスグラフとして紹介する。 EviGraphは、依存関係の欠如、セマンティックなミスアライメント、結果定義の不整合のエビデンスチェーンを検査する。 最初期の弱いノードをローカライズし、影響を受けた下流のサブグラフを再生する。
  論文  参考訳（メタデータ） (2026-08-05T12:02:55Z)
• Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
  ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。 本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。 我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
  論文  参考訳（メタデータ） (2026-08-03T08:46:48Z)
• HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
  我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。 HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。 報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-27T23:50:46Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• ARIS: Autonomous Research via Adversarial Multi-Agent Collaboration [10.076972559007116]
  ARIS(Auto-Research-in-sleep)は、自律的な研究のためのオープンソースの研究ハーネスである。 ARISは、クロスモデル対外コラボレーションを通じて機械学習の研究を調整する。
  論文  参考訳（メタデータ） (2026-05-04T18:10:15Z)
• FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
  FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。 最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
  論文  参考訳（メタデータ） (2026-02-02T23:21:13Z)
• PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
  本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。 PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。 本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
  論文  参考訳（メタデータ） (2026-01-07T04:26:12Z)
• Toward Verifiable Misinformation Detection: A Multi-Tool LLM Agent Framework [0.5999777817331317]
  本研究は、革新的な誤情報検出LLMエージェントを提案する。 エージェントは、多様なWebソースとの動的相互作用を通じて、クレームを積極的に検証する。 情報ソースの信頼性を評価し、証拠を合成し、完全な検証可能な推論プロセスを提供する。
  論文  参考訳（メタデータ） (2025-08-05T05:15:03Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。