論文の概要: The Right Fact, the Wrong Decision: SciValidityBench for Scientific Agent Memory
- arxiv url: http://arxiv.org/abs/2610.34767v1
- Date: Mon, 26 Oct 2026 03:12:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.714977
- Title: The Right Fact, the Wrong Decision: SciValidityBench for Scientific Agent Memory
- Title（参考訳）: 科学的エージェント記憶のためのSciValidityBench
- Abstract要約: 我々は、この科学的使用の妥当性を、記憶された証拠がその解釈を統治する州の下で決定に影響を与える権利があるかどうか、と呼ぶ。
SciValidityBenchは、64のTaskSpecsが5つの妥当性モジュールと6つの科学的ドメインにまたがる実行可能なベンチマークファクトリである。
4つのモデルファミリで、コンパイルされた科学状態は、ジェネリックイベントグラフよりも9.2-18.8ポイントの有効な意思決定を改善する。
- 参考スコア（独自算出の注目度）: 3.7907319921222076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most agent-memory benchmarks frame long-term memory as retrieval: can an agent recover the relevant record from a long and evolving history? Scientific agents face a stricter problem: a correctly remembered fact may still be invalid to use. The same reported test result can support confirmation when the outcome and stopping rule were fixed in advance, yet only exploration when the outcome was selected from twenty inspected results. We call this scientific use validity: whether remembered evidence is eligible to influence a decision under the state governing its interpretation. We introduce SciValidityBench, an executable benchmark factory with 64 TaskSpecs spanning five validity modules and six scientific domains. TaskSpecs couple generated experimental histories with scientific-state definitions, programmatic decision oracles, controlled interventions, and automatic scoring. The SciStateForge compiler-reader framework turns distributed histories into explicit decision-governing state. Counterfactual pairs and targeted corruption-repair controls then test whether models use those dependencies and localize failures. Across four model families, compiled scientific state improves valid decision-making by 9.2-18.8 percentage points over a generic Event Graph. Retrieval alone does not reproduce this cross-family gain, while content-identical flat and typed views show that the improvement comes from exposing governing state rather than a particular graph serialization. SciValidityBench thus shifts memory evaluation from finding the right fact to deciding whether that fact should control the decision.
- Abstract（参考訳）: ほとんどのエージェントメモリベンチマークは、長期記憶を検索としてフレーム化しています。
科学的エージェントはより厳格な問題に直面している。
同じ報告された試験結果は、事前に結果と停止規則が固定された場合の確認を支援することができるが、結果が20の検査結果から選択された場合のみ探索する。
我々は、この科学的使用の妥当性を、記憶された証拠がその解釈を統治する州の下で決定に影響を与える権利があるかどうか、と呼ぶ。
SciValidityBenchは、64のTaskSpecsが5つの妥当性モジュールと6つの科学的ドメインにまたがる実行可能なベンチマークファクトリである。
TaskSpecsのカップルは、科学的な状態の定義、プログラム的な決定オーラクル、制御された介入、自動スコアなどの実験的な履歴を作成した。
SciStateForgeコンパイラ読み取りフレームワークは、分散履歴を明示的な意思決定状態に変換する。
フェールファクトペアとターゲットの汚職防止コントロールは、モデルがそれらの依存関係を使用して障害をローカライズするかどうかをテストする。
4つのモデルファミリの中で、コンパイルされた科学状態は、ジェネリックイベントグラフよりも9.2-18.8ポイントの有効な意思決定を改善する。
検索だけでは、この家族間の利益は再現されないが、コンテンツ識別フラットと型付きビューは、改善は特定のグラフのシリアライゼーションではなく、統治状態を公開することから生じることを示している。
従って、SciValidityBenchは、メモリ評価を正しい事実を見つけることから、その事実が決定を制御すべきかどうかを決定するようにシフトする。
関連論文リスト
- MemDerive: A Diagnostic Benchmark for Agent Memory over Evolving Data [33.460756132131195]
進化するデータに対するエージェントメモリの診断ベンチマークであるMemDeriveを提案する。
10のシナリオには4,692のイベントと1,503のクエリが含まれている。
4つのメモリシステムに対する評価では、最終回答ベンチマークが隠している障害が明らかになる。
論文 参考訳（メタデータ） (2026-10-18T16:24:33Z) - Of Errors and Echoes: Responsibility-Aware Credit Assignment for Tool-Use Agents [55.222414159666016]
Error-Chain-Aware Optimization (ECHO) は、責任を意識した信用割り当てフレームワークである。
ECHOは新しく導入されたエラー、継承された結果、誤り修正、そして成功した修正を区別する。
ECHOは、責任ある決定と自己引き起こしたエラーの修復に対する報酬の制約を1度に分けて、ダウンストリームの結果の共有をカウントする。
論文 参考訳（メタデータ） (2026-10-12T00:52:30Z) - StreamDecisionBench: Evaluating Decisions in Force on Evolving Language Streams [0.0]
言語モデルは、新しいものが到着するまで、最新の回答を適用するアプリケーションにおいて、ますますリアルタイムな決定をする。
遅れた答えは、顧客がカードの詳細を読み出している間、コールレコーダーがまだ実行されているなど、古い決定を延ばすことができる。
StreamDecisionBench(SDB)は、4つのアプリケーションファミリで8つのストリーミングシナリオのデータセットで、パブリックルールから導かれる参照決定を実行可能なものにします。
論文 参考訳（メタデータ） (2026-09-29T22:15:49Z) - TruthInsightBench: An Evidence-Grounded Benchmark for Automated Evaluation of Open-Ended Scientific Discovery Agents [11.367029696505357]
本稿では,発見のためのベンチマークであるTruthInsightBenchを紹介する。
10の科学領域にわたる40の査読された研究から引き出された40の盲目タスクは、中立的な科学的目的と凍結したデータのみを露呈する。
固定LDMベースの審査員は、6次元に沿ってエージェント自身のクレームの明らかな成熟度を評価する。
論文 参考訳（メタデータ） (2026-09-04T12:37:20Z) - DNative-Twin: Decision Graphs and Digital Twins for Reconstructable Agentic Decisions [8.345996614064948]
DNative-Twinはグラフネイティブなデジタルツインで、コミットされたエージェント決定をタイプされた軌跡として記録する。
3つの公開プロセスログと制御されたリプレイスイートを使用して,企業意思決定プロセスのフレームワークをインスタンス化する。
論文 参考訳（メタデータ） (2026-09-03T12:59:34Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳（メタデータ） (2026-06-30T10:54:16Z) - Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems [60.79651380135334]
長寿命のAIエージェントは、永続的な運用システムとしてますますデプロイされる。
エージェントはデプロイ後、いつまで信頼できるのか?
エージェントライフスパンエンジニアリングのための縦型信頼性ベンチマークであるAgingBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-25T19:55:12Z) - Belief Memory: Agent Memory Under Partial Observability [56.41506249481312]
本稿では,メモリパラダイムを観測毎に1つの結論にシフトし,その確率で複数の結論を導出するBeliefMemを提案する。
BeliefMemは決定論的パラダイムが破棄されるという不確実性を保ち、エージェントが高い信頼を持って行動することを可能にする。
LoCoMoとALFWorldベンチマークの実証的な評価は、限られたデータであっても、BeliefMemが最高の平均パフォーマンスを達成することを示している。
論文 参考訳（メタデータ） (2026-05-07T02:03:13Z) - Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。
検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。
このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
論文 参考訳（メタデータ） (2026-01-09T16:44:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。