論文の概要: MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification
- arxiv url: http://arxiv.org/abs/2610.03056v1
- Date: Fri, 02 Oct 2026 09:36:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.30247
- Title: MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification
- Title（参考訳）: MOF-VERIFY:MOF仮説検証のための障害対応エージェントハーネス
- Abstract要約: 金属-有機フレームワーク(MOF)は、異なる識別子の下に構造が現れるため、困難な設定を提供する。
本報告では,構造的基盤化,合成条件検証,エビデンス・十分性検証,MLIPに基づく計算検証を対象とする4つのタスクファミリを用いた診断ベンチマークを提案する。
最終判断を下す前に、構造、文献、エビデンス、計算ボトルネックをターゲットとした、障害対応のエージェントハーネスであるMOF-Verifyを開発する。
- 参考スコア（独自算出の注目度）: 10.306551453677644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used as reasoning components in AI-driven materials Co-Scientists, yet the reliability of the resulting verification pipeline remains unclear. Metal-organic frameworks (MOFs) provide a particularly challenging setting because structures may appear under different identifiers, synthesis outcomes depend strongly on experimental conditions, evidence is distributed across heterogeneous sources, and some hypotheses require computation rather than literature alone. We introduce a diagnostic benchmark with four task families covering structural grounding, synthesis-condition verification, evidence-sufficiency verification, and MLIP-based computational verification. T-MOF-1-3 are evaluated under closed-book, retrieval-enabled, and oracle-evidence settings to localize failures in knowledge access, evidence acquisition, and reasoning, while T-MOF-4 separately evaluates computational verification. Guided by these diagnosed failure modes, we develop MOF-Verify, a failure-aware agentic harness that targets structural, literature, evidence-sufficiency, and computational bottlenecks before producing a final verdict. Across multiple backbone LLMs, MOF-Verify substantially improves hypothesis-verification performance over direct inference and retrieval-based baselines. Benchmark datasets are released at https://github.com/IMMS-Ewha/MOF-Verify-Benchmark.
- Abstract（参考訳）: 大規模言語モデルは、AI駆動の材料における推論コンポーネントとしてますます使われているが、検証パイプラインの信頼性は依然として不明である。
金属有機フレームワーク(MOF)は、異なる識別子の下に構造が現れ、合成結果は実験条件に強く依存し、証拠は異質な情報源に分散し、いくつかの仮説は文学のみではなく計算を必要とするため、特に困難な設定を提供する。
本報告では,構造的基盤化,合成条件検証,エビデンス・十分性検証,MLIPに基づく計算検証を対象とする4つのタスクファミリを用いた診断ベンチマークを提案する。
T-MOF-1-3は、知識アクセス、エビデンス取得、推論における障害をローカライズするためのクローズドブック、検索可能、およびオラクルエビデンス設定で評価され、T-MOF-4は計算検証を別々に評価する。
診断された障害モードによって誘導されたMOF-Verifyは、最終判定を生成する前に、構造、文献、エビデンス、計算ボトルネックをターゲットとした、障害対応のエージェントハーネスである。
複数のバックボーンLLMに対してMOF-Verifyは直接推論や検索ベースラインよりも仮説検証性能を大幅に向上させる。
ベンチマークデータセットはhttps://github.com/IMMS-Ewha/MOF-Verify-Benchmarkで公開されている。
関連論文リスト
- Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。
オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。
我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
論文 参考訳（メタデータ） (2026-09-24T19:04:23Z) - Chemically Meaningful Textualization Enables Explainable Validation of Metal-Organic Frameworks by Large Language Models [11.64834318585455]
既存のバリデーションアプローチでは、計算不能な構造を識別できるが、検証ルールやライセンス要件に依存したり、限定的な解釈性を提供することが多い。
ここでは, 大規模言語モデル (LLM) が, 結晶情報を化学的に意味のあるテキストに変換する際に, MOF構造の解釈可能なバリデータとして機能することを示す。
論文 参考訳（メタデータ） (2026-08-11T12:48:44Z) - MOF-Sleuth: Tool-Grounded Reward Alignment for Explainable Fine-Grained MOF CIF Auditing [23.102528931329715]
大規模金属有機フレームワーク(MOF)データベースは、結晶情報ファイル(CIF)を通してシミュレーション、スクリーニング、機械学習をサポートする
MoF-Sleuthは強化誘導型CIF監査剤で、決定論的法医学研究所とスルース推論エンジンの2つのモジュールを備える。
Chem-GDは、CIFに由来する事実的、関連する証拠によって正しい診断が説明されるかどうかを評価する指標である。
論文 参考訳（メタデータ） (2026-07-22T09:05:43Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models [53.279391576560755]
大規模言語モデル(LLM)は、広範囲のNLPタスクにおいて顕著な流速と汎用性を示してきたが、実際的な不正確さと制限が伴う傾向にある。
これは、信頼と妥当性が最優先される医療、法律、科学コミュニケーションといった、高リスク領域に重大なリスクをもたらす。
LLM出力の事実的信頼性と解釈可能性を高めるために設計されたDAVinCI - Dual Attribution and Verificationフレームワークを紹介する。
論文 参考訳（メタデータ） (2026-04-23T01:37:50Z) - Diagnosing Structural Failures in LLM-Based Evidence Extraction for Meta-Analysis [0.8193467416247519]
レビューとメタ分析は、物語を構造化され、数値化された研究記録に変換することに頼っている。
大規模言語モデル(LLM)の急速な進歩にもかかわらず、このプロセスの構造的要件を満たすことができるかどうかは不明だ。
本稿では,LLMに基づくエビデンス抽出をスキーマ制約クエリの進行として評価する構造的診断フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-11T14:09:43Z) - Think Locally, Explain Globally: Graph-Guided LLM Investigations via Local Reasoning and Belief Propagation [5.191980417814362]
LLMエージェントは、ほとんどの環境が静的で、必要な情報がモデルのコンテキストウインドウに適合する場合、排他的になる。
直腸型薬剤は、この体制では特に脆い。
本稿では,LLMが限定的な局所的エビデンスマイニングとラベリングを行うためのフレームワークであるEoGを提案する。
論文 参考訳（メタデータ） (2026-01-25T17:27:19Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z) - FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic Fact-Checking Evaluation of Large Language Models [79.41859481668618]
大規模言語モデル(LLM)はファクトチェック研究を大幅に進歩させた。
既存のファクトチェック評価手法は静的データセットと分類基準に依存している。
本稿では, LLMのファクトチェック機能を適応的かつ動的に評価するエージェント駆動型フレームワークであるFACT-AUDITを紹介する。
論文 参考訳（メタデータ） (2025-02-25T07:44:22Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳（メタデータ） (2023-10-18T16:27:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。