VeriGraph: Towards Verifiable Data-Analytic Agents
Abstractの概要
本論文は、LLMに基づくデータ分析エージェントの検証可能性を向上させる方法を研究し、標準的な線形の思考-行動トレースでは、生データ、計算、最終的な主張の間の監査可能なリンクが保持されないと主張している。著者らは、実行中にエージェントがデータ成果物と自然言語の主張を結びつける明示的な異種証拠DAGを段階的に構築する、神経記号論的フレームワークであるVeriGraphを提案している。4つのデータ集約型ベンチマークでの実験では、タスクのパフォーマンスと、公開された証拠成果物から復元可能な主張の根拠付けの両方について、この方法が評価されている。
新規性
最大の特徴は、証拠グラフの構築を事後的な説明としてではなくエージェントのオンライン推論インターフェースとし、生データ、中間変数、根拠付けられた主張、および導出された結論を明示的なDAGエッジで接続することである。また、本研究では、最終的な回答の質に加えて、データの出所と派生的な妥当性を監視する、グラフ認識型の強化学習目的関数を導入している。
成果
TableBench、InfiAgent-DABench、DSBench、およびDAB-Step Research全体において、VeriGraph-8Bは評価されたベースライン中で最高の総合スコアを達成しつつ、計算と推論の出所の両方を公開することが報告された唯一のシステムである。また、87.61%の根拠付け率を達成しており、公開された証拠成果物による主張レベルのサポートが大幅に強力であることを示している。アブレーションの結果はさらに、軌跡SFTとグラフ認識型RLが、タスクのパフォーマンスと追跡可能性の両方を維持するために重要であることを示している。
論文の注目点
- VeriGraphは、最終的な主張から生データソースへの後方追跡をサポートする明示的な異種証拠DAGとして、データ分析推論を表現する。
- このフレームワークは、計算展開、根拠付け展開、派生展開という3つのグラフ構築プリミティブを使用して、実行可能な出所を意味的推論から分離する。
- 実証評価により、高いタスクパフォーマンスとともに主張のより強力な根拠付けが示され、アブレーションによりこれらの利点には明示的なグラフ監視が重要であることが示されている。