論文の概要: ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence
- arxiv url: http://arxiv.org/abs/2605.26340v1
- Date: Mon, 25 May 2026 21:30:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:41.473807
- Title: ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence
- Title（参考訳）: ScientistOne: チェーン・オブ・エビデンスによる人間レベルの自律的研究を目指して
- Abstract要約: チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。
CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
- 参考スコア（独自算出の注目度）: 57.37494162084001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous research agents produce competitive solutions and professional-looking manuscripts, yet their outputs contain verifiability failures undetectable by surface-level evaluation: fabricated citations, unreproducible scores, and method descriptions that diverge from the implementation. We address this through three contributions. First, Chain-of-Evidence (CoE), a verifiability framework requiring every claim to be traceable to its evidence source. Second, ScientistOne, an end-to-end autonomous research system that maintains evidence chains by construction throughout literature review, solution discovery, and paper writing. Third, CoE Audit, a post-hoc audit whose four integrity checks -- score verification, specification violation, reference verification, and method-code alignment -- apply uniformly to all systems. Across 75 papers spanning five systems and five frontier research tasks, every baseline exhibits at least one systematic failure mode: hallucinated reference rates reach 21%, score verification passes in as few as 42% of papers, and method-code alignment ranges from 20% to 80%. ScientistOne achieves zero hallucinated references (0/337), perfect score verification (12/12), and the highest method-code alignment (14/15), while matching or exceeding human expert performance on all five tasks. ScientistOne further generalizes to six additional tasks spanning medical imaging, fine-grained recognition, 3D perception, and language modeling, achieving state-of-the-art on Parameter Golf and gold medals on MLE-Bench tasks where baselines fail entirely.
- Abstract（参考訳）: 自律的な研究エージェントは、競争力のあるソリューションとプロのように見える原稿を生成するが、その出力には、表面レベルの評価によって検出できない検証可能性の失敗が含まれている:製造された引用、再現不可能なスコア、実装から分岐するメソッド記述。
これを3つのコントリビューションを通じて解決する。
第一にChain-of-Evidence(CoE)は、すべての主張が証拠ソースにトレース可能であることを要求する検証可能なフレームワークである。
第二に、ScientistOneはエンドツーエンドの自律的な研究システムで、文献レビュー、ソリューション発見、ペーパーライティングを通じて、建設によってエビデンスチェーンを維持する。
第三に、CoE Auditは、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックをすべてのシステムに適用するポストホック監査である。
5つのシステムと5つのフロンティア研究タスクにまたがる75以上の論文では、すべてのベースラインが少なくとも1つの系統的な障害モードを示しており、幻覚的基準レートは21%、スコア検証は42%、メソッドコードアライメントは20%から80%である。
ScientistOneは、ゼロ幻覚参照(0/337)、完全スコア検証(12/12)、最高メソッドコードアライメント(14/15)を達成し、5つのタスクすべてで人間の専門家のパフォーマンスをマッチングまたは超過する。
さらにScientistOneは、医療画像、きめ細かい認識、3D知覚、言語モデリングを含む6つのタスクを一般化し、パラメータゴルフの最先端とMLE-Benchのタスクにおける金メダルを達成している。
関連論文リスト
- PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents [16.43230671992556]
AutoSciRubは評価ファーストのフレームワークで、研究実行前にタスク固有の実行ファイルを誘導する。
AutoSciRubは、未特定の命令を原子科学的目標に分解し、関連する文献やタスク可視データに基礎を置いて、特定の、実行可能な、検証可能な基準を合成する。
改訂期間中、ルーブリック誘導検証は未測定の基準を特定し、研究報告の目的の精査を可能にする。
論文 参考訳（メタデータ） (2026-08-31T16:48:51Z) - Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。
その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。
DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
論文 参考訳（メタデータ） (2026-08-18T17:29:00Z) - OmniScientist: An Omni-Modal Omni-Discipline AI Scientist [39.38448883079899]
私たちはOmniScientistを紹介します。OmniScientistはエンド・ツー・エンド、オムニ・モーダルなAI科学者で、生の証拠から直接研究を行います。
認識層と、アイデア、実験、書き込みのための3つの自律エージェントは、決定論的パイプライン内で動作する。
我々はOmniScientistを5つの専門科、科学的証拠の4つの科、画像、信号、音声、ビデオ、三次元構造、軌道、表、公式、グラフを含む36の実データケースで評価した。
論文 参考訳（メタデータ） (2026-08-13T17:59:52Z) - Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis [0.0]
大規模言語モデル(LLM)は、この作業を加速するかもしれないが、レビューの認知的タスクに対する信頼性は依然として不確実である。
我々は,エビデンス合成をスクリーニング,抽出,解析,合成に分解する「知識合成レビュー(KSR)」を紹介した。
我々は、GPT-5, Claude Sonnet 4, Gemini 2.5 Pro, NotebookLMを、AI上の1,893文書コーパスから抽出した244文書のベンチマークサブセットで評価した。
論文 参考訳（メタデータ） (2026-08-13T02:41:14Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - Prompt-to-Paper: Agentic AI System for Bioinformatics [0.0]
本稿では,この評価ギャップに直接対処するマルチエージェントフレームワークであるPrompt-to-Paperを紹介する。
まず,有意な60-100論文のコーパスにおいて,各クレームに有意な関連性評価と雪玉の引用拡張を施した決定論的検索拡張生成パイプラインについて検討した。
第二に、自律符号化エージェントは、合成出力を真に数値的な結果に置き換える実際の計算生物学実験を実行する。
第三に、8次元の自動品質スコアラで、公表された論文からの概ね参照統計をベンチマークし、明示的な幻覚の罰則を付加し、標準化された再現可能な品質評価を提供する。
論文 参考訳（メタデータ） (2026-07-05T21:30:24Z) - Deterministic Integrity Gates for LLM-Assisted Clinical Manuscript Preparation: An Auditable Biomedical Informatics Architecture [0.3823356975862005]
検証を伴うアーキテクチャペア生成を3つの原則に基づいて記述する。
この決定論的な分割は、整合性のある分類として組織化され、中核的な貢献である。
MedSci Skillsは、43のスキルのオープンソースツールキットで、21の決定論的階層を持ち、3つのパブリックデータセットパイプラインで評価されている。
論文 参考訳（メタデータ） (2026-06-08T13:51:04Z) - Inductive Deductive Synthesis: Enabling AI to Generate Formally Verified Systems [100.24694338574402]
本稿では,インダクティブ・デダクティブ・シンセシス(IDS)について述べる。
IDSは約6.8時間で7/7を達成し、1仕様あたり106ドル、専門家の努力の約200倍、SOTAエージェントの約17%を達成している。
IDSはパフォーマンスフィードバックを同じループに組み込んでおり、検証されたシステムよりも最大3倍高速な実装を実現している。
論文 参考訳（メタデータ） (2026-05-22T00:05:36Z) - The Last Human-Written Paper: Agent-Native Research Artifacts [106.47848184955576]
本稿では,物語紙を機械処理可能な研究パッケージに置き換えるプロトコルであるAgent-Native Research Artifact(ARA)を紹介する。
通常の開発において決定と終了をキャプチャするLive Research Manager、レガシPDFとリポジトリをARAに変換するARAコンパイラ、人間レビュアーが重要性、ノベルティ、味にフォーカスできるように客観的チェックを自動化するARAネイティブレビューシステムである。
論文 参考訳（メタデータ） (2026-04-27T16:23:09Z) - MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome [109.15093810810214]
MiroEvalはディープリサーチシステムのベンチマークおよび評価フレームワークである。
ベンチマークは、実際のユーザニーズに基づいて100のタスクで構成されている。
提案した評価スイートは3つの相補的な次元に沿って深層研究システムを評価する。
論文 参考訳（メタデータ） (2026-03-30T13:16:03Z) - OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。
回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。
OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
論文 参考訳（メタデータ） (2026-01-04T15:48:51Z) - AI-Powered Citation Auditing: A Zero-Assumption Protocol for Systematic Reference Verification in Academic Research [0.0]
本稿では,ツール使用機能を備えたエージェントAIを用いた,体系的かつ総合的な参照監査のための,AIを活用した新しい方法論を提案する。
我々は,引用が正しいと仮定せずに,複数の学術データベースに対するすべての参照を独立に検証するゼロ推定検証プロトコルを開発した。
その結果、公表されたPLOS論文の平均検証率は91.7%で、製造された参照、削除された記事、孤児の引用、捕食雑誌の発見に成功している。
この研究は、学術的引用整合性のための最初の検証済みAIエージェント方法論を確立し、監督者、学生、制度的品質保証の実践的適用性を実証する。
論文 参考訳（メタデータ） (2025-10-17T16:53:03Z) - SurveyBench: Can LLM(-Agents) Write Academic Surveys that Align with Reader Needs? [37.28508850738341]
調査書は労働集約的で知的に要求されるタスクである。
一般的なDeepResearchエージェントやサーベイ特殊化手法のような最近のアプローチは、自動的にサーベイを生成することができる。
しかし、そのアウトプットは人間の基準に欠けることが多く、厳格で読者対応のベンチマークが欠けている。
本稿では,詳細なクイズ駆動評価フレームワークであるSurveyBenchを提案する。
論文 参考訳（メタデータ） (2025-10-03T15:49:09Z) - HySemRAG: A Hybrid Semantic Retrieval-Augmented Generation Framework for Automated Literature Synthesis and Methodological Gap Analysis [55.2480439325792]
HySemRAGは、Extract, Transform, Load (ETL)パイプラインとRetrieval-Augmented Generation (RAG)を組み合わせたフレームワークである。
システムは、マルチ層アプローチを通じて既存のRAGアーキテクチャの制限に対処する。
論文 参考訳（メタデータ） (2025-08-01T20:30:42Z) - SciSage: A Multi-Agent Framework for High-Quality Scientific Survey Generation [2.985620880452744]
SciSageはリフレクション・ワン・ユー・ライト・パラダイムを使ったマルチエージェント・フレームワークである。
アウトライン、セクション、ドキュメントレベルでのドラフトを批判的に評価し、クエリの解釈、コンテンツ検索、洗練のための特別なエージェントと協調する。
また、11のコンピュータサイエンス領域にわたる46のハイインパクト論文(2020-2025)のベンチマークであるSurveyScopeをリリースしています。
論文 参考訳（メタデータ） (2025-06-15T02:23:47Z) - ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery [23.773528748933934]
我々は、データ駆動科学発見のための言語エージェントを評価するための新しいベンチマークであるScienceAgentBenchを紹介する。
44の査読論文から4つの分野の102の課題を抽出し,9つの課題の専門家による検証を行った。
ScienceAgentBenchを使って、オープンウェイトでプロプライエタリなLLMを5つ評価し、それぞれにダイレクトプロンプト、OpenHands CodeAct、セルフAIの3つのフレームワークを持つ。
論文 参考訳（メタデータ） (2024-10-07T14:33:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。