論文の概要: CONFIRM: Governing Scientific Reporting for Trustworthy Agentic Neuroimaging
- arxiv url: http://arxiv.org/abs/2611.01449v2
- Date: Tue, 03 Nov 2026 16:50:14 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:40:52.722704
- Title: CONFIRM: Governing Scientific Reporting for Trustworthy Agentic Neuroimaging
- Title（参考訳）: CONFIRM:信頼できるエージェントニューロイメージングのための科学的報告
- Abstract要約: 大言語モデル(LLM)エージェントは、研究質問から報告された結果まで、自律的に神経画像解析を行うことができる。
この結果から, LLMの判断は, コンファウンドが証拠として提示された場合でも, サイト構築の証拠を裏付けるものであることがわかった。
textbfCONFIRMは、分析の実行とレポートする結果の決定を分離するフレームワークである。
- 参考スコア（独自算出の注目度）: 16.844398162353013
- License:
- Abstract: Large language model (LLM) agents can autonomously run neuroimaging analyses from research questions to reported findings. Existing agentic systems use tools to check that code runs and reported values match its output, but rely on LLM judgment to decide which results warrant scientific reporting. We show that LLM judges endorse site-confounded findings even when the confound is presented as evidence. We present \textbf{CONFIRM}, a framework that separates running an analysis from deciding which findings to report. CONFIRM encodes each hypothesis as a machine-readable, pre-specified analysis plan that fixes the claim and its pass criteria before computing results. It then filters results through five deterministic gates (search history and multiplicity, confounds, power, analytic stability, and replication) under three configurable reporting standards, from least to most demanding: \textit{Screen}, \textit{Replicate}, and \textit{Full}. Failed claims receive diagnoses that guide follow-up analyses. To evaluate reporting decisions at the claim level, we introduce \textbf{NeuroClaimBench}, comprising 489 executable neuroimaging claims with frozen data, including literature-supported findings and 150 controls designed to violate individual methodological requirements. On NeuroClaimBench, CONFIRM falsely supports at most 3\% of controls, compared with 23--38\% for the baselines, while recovering up to 61\% of literature-supported claims. When auditing an existing agent, CONFIRM reduces false support on controls from 23\% to 0\% while retaining the agent's literature-supported claims. Its diagnostic feedback also produces more supported revisions than Self-Refine with fewer LLM calls. Together, CONFIRM and NeuroClaimBench show that basing reporting decisions on pre-specified analysis plans and deterministic gates is essential for trustworthy autonomous scientific discovery.
- Abstract（参考訳）: 大言語モデル(LLM)エージェントは、研究質問から報告された結果まで、自律的に神経画像解析を行うことができる。
既存のエージェントシステムでは、コードが実行され、報告された値がその出力と一致しているかをチェックするツールを使用しているが、どの結果が科学的な報告を保証しているかを決定するのにLLMの判断に依存している。
この結果から, LLMの判断は, コンファウンドが証拠として提示された場合でも, サイト構築の証拠を裏付けるものであることがわかった。
本稿では,分析の実行と報告対象の判断を分離するフレームワークであるtextbf{CONFIRM}を提案する。
CONFIRMは、各仮説を機械可読で事前特定された分析計画としてエンコードし、計算結果の前にクレームとそのパス基準を修正する。
次に、最低でも要求される3つの設定可能なレポート標準の下で、5つの決定論的ゲート(履歴と多重性、欠点、パワー、解析的安定性、レプリケーション)をフィルタリングする。
障害のあるクレームは、フォローアップ分析を導く診断を受ける。
報告判断をクレームレベルで評価するために,文献支援された結果を含む凍結したデータを用いた489個の実行可能なニューロイメージングクレームと,個々の方法論的要件に違反するように設計された150の制御を含む,‘textbf{NeuroClaimBench}’を導入する。
NeuroClaimBenchでは、CONFIRMは、ベースラインの23-38-%に対して、少なくとも3-%のコントロールを誤ってサポートし、文献支援クレームの61-%を回復する。
既存のエージェントを監査する場合、CONFIRMは、エージェントの文献に支持されたクレームを維持しながら、コントロールに対する誤ったサポートを23\%から0\%に削減する。
診断フィードバックは、LSM呼び出しの少ないSelf-Refineよりもサポートされたリビジョンも生成する。
CONFIRMとNeuroClaimBenchは共同で、信頼できる自律的な科学的発見には、事前に特定された分析計画と決定論的ゲートに関する報告決定が不可欠であることを示した。
関連論文リスト
- ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence [40.670500527968926]
本稿では,この要件に基づいて構築されたニューロシンボリックベンチマークであるACED-BENCH(Active Causal Evidence and Decision Benchmark)を紹介する。
主要なリーダーボードACED-COREには180のタスクが含まれている。
我々は,3つのアクティブエージェント設計における7つの現代LCMと2つの先行世代モデルを評価した。
論文 参考訳（メタデータ） (2026-10-09T23:01:57Z) - DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。
エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。
これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
論文 参考訳（メタデータ） (2026-09-27T08:29:32Z) - Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。
オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。
我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
論文 参考訳（メタデータ） (2026-09-24T19:04:23Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - TruthInsightBench: An Evidence-Grounded Benchmark for Automated Evaluation of Open-Ended Scientific Discovery Agents [11.367029696505357]
本稿では,発見のためのベンチマークであるTruthInsightBenchを紹介する。
10の科学領域にわたる40の査読された研究から引き出された40の盲目タスクは、中立的な科学的目的と凍結したデータのみを露呈する。
固定LDMベースの審査員は、6次元に沿ってエージェント自身のクレームの明らかな成熟度を評価する。
論文 参考訳（メタデータ） (2026-09-04T12:37:20Z) - Provenance Before Prose: Claim-Locked Reporting [9.106326969263483]
科学報告のエビデンスを含む内容は、散文生成時にサンプリングされるのではなく、構造化された統計結果によって修正されるべきである。
本稿では,各報告可能なクレームのエビデンスソース,数字,方向,許容言語強度を補正する前処理プロトコルであるクレームロック型レポーティングを提案する。
論文 参考訳（メタデータ） (2026-08-26T03:41:17Z) - Task-Conditional Faithfulness Auditing of Multimodal LLMs for Grid Diagnosis [5.427346259545067]
マルチモーダル大言語モデル(LLM)は、トポロジー、測定、インシデントテキストを組み合わせてグリッド診断を行うことができる。
本稿では,タスク条件の忠実度監査を行うための一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2026-07-27T15:17:15Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。
このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
論文 参考訳（メタデータ） (2026-04-30T19:33:58Z) - Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data [89.2410799619405]
実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。
このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴う411の質問のデータセットで構成されている。
データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
論文 参考訳（メタデータ） (2024-02-27T16:15:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。