論文の概要: Beyond fabrication: Misattributed numbers in papers written by AI research agents

• arxiv url: http://arxiv.org/abs/2610.38691v2
• Date: Sat, 31 Oct 2026 21:13:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:45.004826
• Title: Beyond fabrication: Misattributed numbers in papers written by AI research agents
• Title（参考訳）: 製造を超えて:AI研究員が書いた論文の誤記数
• Abstract要約: 我々は、最近公開されたAI研究エージェントの公開ベンチマークから、540件の判決を再分析した。 本稿では, 周辺文脈が主張結果を識別するか否かをスコアする決定論的クレーム・ツー・エビデンス・チェッカーを提案する。 盲目のアノテーションに対して90%以上の精度でクレームを認証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Verifying numerical claims in research written by AI agents is an important but challenging problem. Recent benchmarks show that many agent-written papers fail integrity checks, but such verdicts, often produced by a single LLM judge, identify failure without explaining its nature, and existing checks either test a paper for internal consistency or test whether a reported value appears somewhere in an agent's output. We re-analyze all 540 released judgments from a recent public benchmark of AI research agents (nine agents, fifteen open research problems) and manually label 256 numerical claims from 18 submissions. Failures concentrate on alignment between the paper and the underlying work rather than overt cheating, and about four in five unsupported claims correspond to values in the agent's own files that come from the wrong experiment, metric, or run. We introduce a deterministic claim-to-evidence checker that scores whether the surrounding context identifies the claimed result and calibrates each claim against numerical decoys. With its rules fixed before labeling, it certifies claims with over 90% precision against blinded annotators (78 of 85; Cohen's kappa = 0.89), while verifying only a subset of claims; most claims it cannot verify are nevertheless traceable, so failure to verify is not evidence of falsehood. An LLM verifier given the same evidence recovers more traceable claims but accepts about three times as many misattributed ones, so the two are best used together. Applied to 99 submissions, the checker reveals large differences in traceability across agents, and on 30 submissions a second judge configuration, with a different model and harness, orders the agents' vendor groups as the official judge does while passing twice as many papers. These findings motivate provenance-first auditing of AI-produced research.
• Abstract（参考訳）: AIエージェントによって書かれた研究における数値的な主張を検証することは、重要だが難しい問題である。 最近のベンチマークでは、エージェントによって書かれた多くの書類が整合性チェックを失敗することを示しているが、そのような判断は単一のLCM判事によってしばしば行われ、その性質を説明することなく失敗を識別し、既存のチェックは内部の整合性をテストするか、報告された値がエージェントの出力のどこかに現れるかどうかをテストする。 我々は、最近公開されたAI研究エージェントの公開ベンチマーク(9つのエージェント、15のオープンリサーチ問題)の540件の判断を再分析し、18件の提出から256件の数値クレームを手動でラベル付けしました。 失敗は不正行為よりも、紙と基礎となる作業の整合性に集中しており、5件中4件の主張は、間違った実験、計量、実行から来るエージェント自身のファイルの値に対応している。 決定論的クレーム・ツー・エビデンス・チェッカーを導入し, 周辺コンテキストがクレームを識別し, 数値デコイに対して各クレームを校正する。 ラベル付け前にその規則を定め、90%以上の精度でブラインドアノテータに対するクレームを認証し(85点中78点、コーエンのkappa = 0.89点)、クレームのサブセットのみを検証する。 同じ証拠を与えられたLLM検証器は、よりトレース可能なクレームを回復するが、不一致のクレームの約3倍を受け入れるので、この2つを一緒に使うのが最善である。 99件の提出に対して、チェッカーはエージェント間のトレーサビリティの大きな違いを明らかにし、30件の審査員構成を異なるモデルとハーネスで提出し、公式の審査員が2倍の論文をパスしながら、エージェントのベンダーグループに命令する。 これらの知見はAIによる研究の先駆的な監査を動機付けている。

関連論文リスト

• From Prose to Properties: Testing Research Claims with ARATest for Agent-Native Science [17.47262207043608]
  ARATestはプロパティベースのテストライブラリで、要求を実行可能なテストとしてチェックする。 3つの値のセマンティクスは、各プロパティを3つの評定の1つに割り当てる。 デフォルトのジェネレータは、エージェントネイティブな研究成果物が各クレームにリンクしているという証拠を読み、自動検索ジェネレータは、新しいケースのためにリリースされたコードを実行するためにエージェントをディスパッチする。
  論文  参考訳（メタデータ） (2026-10-21T22:20:00Z)
• VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents [57.86211802714839]
  VerifierBenchは、ツールコール、ステートベース、コード検証にまたがる222のタスクのベンチマークである。 Verifier4Verifier (V4V) はソース検証とテストスイートを検査する。 分析されたレコードのほとんどの偽りの拒絶は、あるタスクに対するテストされた解決策を受け入れない検証者によるものである。
  論文  参考訳（メタデータ） (2026-10-19T17:22:36Z)
• Functionally Equivalent or Not? Graph-Grounded Differential Surrogate Execution for Code Equivalence [10.45005458481016]
  FEAgentは、型付きプログラムグラフエビデンスと差分代理実行を組み合わせた選択等価評価エージェントである。 そのオラクルに対する不一致はすべて、直接実行によって判断され、ベンチマークラベルと単体テストのみのスコアで見逃された振る舞いの相違が明らかになる。 EquiBenchでは、1200個の評価済みペアのうち216個(18.0%)、SWE-bench Verifiedでは331個のテストパスエージェントパッチ(28.4%)が参照パッチから分岐している。
  論文  参考訳（メタデータ） (2026-10-03T08:19:45Z)
• AtomCite: Verification and Correction of Supplied Page-Level Citations in Multi-Page Documents [21.842813905857863]
  AtomCiteは、回答をクレームに解析し、引用されたページのイメージに対して各クレームをチェックし、決定論的修復ポリシーを適用します。 インジェクションされたベンチマークでは、約93%のバイナリ検証精度に達し、OCRのみの条件ではかなり上回っている。 その修理方針は、正しいクレームの90%以上を保持しながら、34%から87-90%までの混合液の引用精度を引き上げている。
  論文  参考訳（メタデータ） (2026-09-05T01:31:50Z)
• Evidence-Ledger Adjudication for Claim-Evidence Traceability [0.45743735246920414]
  本稿では,エビデンス・レジャーの判断,すなわちクレーム・エビデンス・トレーサビリティ・ワークフローについて検討する。 それぞれのクレームとエビデンスパケットをペアにし、サポート関係を割り当てる。 その結果,エビデンスリーダの判断は,異質なエビデンスパケットをAI支援書込みのための監査可能なトレーサビリティ層にすることができることがわかった。
  論文  参考訳（メタデータ） (2026-07-29T06:22:53Z)
• DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
  誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。 それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。 強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
  論文  参考訳（メタデータ） (2026-07-19T15:20:40Z)
• TRUST Agents: A Collaborative Multi-Agent Framework for Fake News Detection, Explainable Verification, and Logic-Aware Claim Reasoning [0.0]
  TRUST Agentsは、説明可能な事実検証と偽ニュース検出のためのフレームワークである。 検証可能なクレームを特定し、関連する証拠を検索し、その証拠に対するクレームと不確実性のある理由を比較し、人間が検査できる説明を生成する。 複雑なクレームをより効果的に処理するために、LoCalスタイルのクレーム分解にインスパイアされたデコンプザエージェント、特殊検証者ペルソナを備えたデルフィインスパイアされたマルチエージェント陪審、論理アグリゲータを導入する。
  論文  参考訳（メタデータ） (2026-04-14T01:31:14Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
  既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。 本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。 我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-06T05:05:57Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。