The Last Human-Written Paper: Agent-Native Research Artifacts
Abstractの概要
本論文は、従来の narrative 形式の研究論文を機械実行可能なパッケージに置き換えるプロトコル Ara（Agent-Native Research Artifact）を提案する。Ara は、科学的論理（/logic）、実行可能コード（/src）、失敗・成功の研究軌跡を保存する探索グラフ（/trace）、根拠付きエビデンス（/evidence）の4層で構成される。著者らは、従来の論文が「ストーリーテリング税」（失敗した実験や分岐した研究プロセスの破棄）と「エンジニアリング税」（ハイパーパラメータや設定などの実行に不可欠な詳細の省略）を課していると主張する。支援メカニズムとして、研究者とエージェントのコーディングセッション中の意思決定を記録するLive Research Manager、従来のPDFやリポジトリをAra形式に変換するAra Compiler、および機械検証可能な構造・厳密性・再現性チェックのための3段階ARA Sealレビューシステムが提示される。本プロトコルは、PaperBenchおよびRE-Benchのソースを用いて、機械学習分野に限定した知識抽出・再現・拡張タスクで評価される。
新規性
主な新規性は、研究の主要成果物を人間向けの narrative ではなく、クレーム・コード・エビデンス・研究軌跡（行き止まりを含む）を明示的なクロスレイヤーバインディングで結びつけた、エージェント操作可能な4層ファイルシステムアーティファクトとして再定義した点にある。さらに、研究者とエージェントのセッションをリアルタイムに記録するライブキャプチャメカニズム、レガシー論文の後方互換変換のためのコンパイラ、および段階的な機械検証可能レビューパイプライン（ARA Seal）を組み合わせている。
成果
知識抽出（30対象にわたる450問）では、Araを使用したエージェントがPDF＋リポジトリのベースラインの72.4%に対し93.7%の精度を達成し、失敗知識に関する質問（+65.7 pp）や設定詳細の復元（+24.8 pp）で最大の改善が見られた。再現実験（15論文、150サブタスク、1,743の評価基準要件）では、Araの難易度重み付き成功率が64.4%（ベースライン57.4%）となり、難しいサブタスクほど優位性が拡大した（+8.5 pp）。拡張タスク（RE-Benchの5タスク、Sonnet 4.6使用）では、Araが全5タスクで初期段階の有用な進捗を早め、5タスク中3タスクで最終スコアが向上したが、5タスク中2タスクでは後半に逆転が見られ、トレースの価値は記録された戦略とエージェント自身の発見能力とのギャップに依存することが示唆された。
論文の注目点
- Araは研究を科学的論理・実行可能コード・探索グラフ（行き止まりを含む）・根拠付きエビデンスの4つのリンクされた層に構造化し、クロスレイヤーバインディングで接続することで、narrative 形式の論文が通常平坦化または省略してしまう情報を保存する。
- エコシステムには、AI ネイティブ開発中のゼロオーバーヘッドキャプチャのためのLive Research Manager、レガシーPDFおよびリポジトリ変換のためのCompiler、人間によるレビュー前に構造・厳密性・再現性の検証を自動化する3段階ARA Sealレビューパイプラインが含まれる。
- ML論文を対象とした実証評価では、Araは知識抽出におけるエージェント精度を全体で+21.3 pp向上させ、難易度重み付き再現成功率を+7.0 pp（タスク難易度の上昇とともに増加）改善し、初期段階の拡張作業を加速させたが、5つの拡張タスクのうち2つで後半に逆転が見られたことから、トレースの価値は記録された戦略とエージェント自身の発見能力とのギャップに依存することが示唆された。