論文の概要: The Marathon of Scientific Reasoning: Robustness of Scientific Agents to Perturbations in Multi-Turn Interactions
- arxiv url: http://arxiv.org/abs/2609.34537v1
- Date: Mon, 28 Sep 2026 08:04:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 12:42:52.506195
- Title: The Marathon of Scientific Reasoning: Robustness of Scientific Agents to Perturbations in Multi-Turn Interactions
- Title（参考訳）: 科学的推論のマラソン:多段階相互作用の摂動に対する科学的エージェントのロバスト性
- Abstract要約: textscSciARP (textbfScientific textbfAgent textbfRobustness to textbfPerturbations) は科学的に妥当な摂動下での科学的エージェントの評価のためのベンチマークである。
textscSciARPは620の科学的問題を3-13ターンの相互依存タスクに変換する。
- 参考スコア（独自算出の注目度）: 15.290849008059007
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM)-based scientific agents are increasingly used for scientific problem solving, yet their robustness to imperfections arising during multi-turn interactions remains poorly understood. We introduce \textsc{SciARP} (\textbf{Sci}entific \textbf{A}gent \textbf{R}obustness to \textbf{P}erturbations), a benchmark for evaluating scientific agents under scientifically plausible perturbations throughout multi-turn problem solving. \textsc{SciARP} transforms 620 scientific problems into interdependent tasks of 3--13 turns and defines 13 perturbation types spanning problem understanding, evidence processing, reasoning, and conclusion formation. Clean and perturbed versions of each task are independently executed under matched settings, producing paired live trajectories for evaluating both task success and process reliability. Experiments across eight LLMs from four model families reveal three key robustness characteristics. First, different classes of scientific perturbations exhibit distinct robustness profiles and can decouple task progression from scientific reliability: agents may continue advancing through the task even after their information or reasoning has become unreliable. Second, stronger clean-task performance does not necessarily translate into stronger robustness, as models with higher clean-task accuracy can exhibit larger degradation under perturbation. Third, perturbation effects exhibit strong temporal dynamics: they may remain latent for multiple turns before emerging and subsequently propagate through downstream dependencies. Together, these findings show that current scientific agents remain insufficiently robust to scientifically plausible perturbations, with failures often remaining undetected, propagating, and resisting recovery.
- Abstract（参考訳）: 大規模言語モデル(LLM)に基づく科学エージェントは、科学的な問題解決にますます利用されているが、多ターン相互作用で生じる不完全性に対する頑健さはよく分かっていない。
我々は,多ターン問題解決における科学的に妥当な摂動条件下での科学的エージェント評価のベンチマークである \textsc{SciARP} (\textbf{Sci}entific \textbf{A}gent \textbf{R}obustness to \textbf{P}erturbations) を紹介する。
\textsc{SciARP} は、620の科学的問題を3-13回転の相互依存タスクに変換し、問題理解、エビデンス処理、推論、結論形成にまたがる13の摂動タイプを定義する。
クリーンで摂動的な各タスクのバージョンは、マッチした設定の下で独立して実行され、タスクの成功とプロセスの信頼性の両方を評価するためにペア化されたライブトラジェクトリを生成する。
4つのモデルファミリーから8つのLSM実験により、3つの重要なロバスト性特性が明らかになった。
第一に、科学的摂動の異なるクラスは、異なる堅牢性プロファイルを示し、科学的信頼性からタスクの進行を分離することができる。
第二に、より強いクリーンタスク性能が必ずしも強靭性に変換されるとは限らない。
第3に、摂動効果は強い時間的ダイナミクスを示す:それらは出現する前に複数の旋回を保ち、その後下流の依存関係を通して伝播する。
これらの結果は、現在の科学的エージェントは、科学的に実証可能な摂動に対して不十分に頑健であり、しばしば障害は検出されず、伝播し、回復に抵抗することを示している。
関連論文リスト
- Understanding Fault Tolerance of Adversarially Robust Pruned Models [0.0]
本稿では, 畳み込み, 逆行訓練, ハードウェア故障注入が, 畳み込みニューラルネットワークの堅牢性に与える影響について, 実験的検討を行った。
以上の結果より, 逆行訓練は入力摂動に対する頑健性を向上させるが, 立ち止まる重み断層に対する感受性を高めることが示唆された。
論文 参考訳（メタデータ） (2026-08-04T19:31:43Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳（メタデータ） (2026-06-30T10:54:16Z) - Science Earth: Towards A Planet-Scale Operating System for AI-Native Scientific Discovery [51.70607714288616]
サイエンスアース(Science Earth)は、惑星規模の科学ランタイムで、あらゆる能力が他のものと接続できる。
その基盤となるEACNプロトコルは、機能を相互に発見し、タスクのオーナシップを交渉し、互換性のない明示的な標準を越えて判断することを可能にする。
2つの実行は、構造的に異なる条件下でこれを検証します。
論文 参考訳（メタデータ） (2026-05-31T16:05:41Z) - Understanding Conversational Patterns in Multi-agent Programming: A Case Study on Fibonacci Game Development [3.4626911764686032]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)にますます適用されつつあるが、自律的で役割指向のコラボレーションのポテンシャルは、いまだほとんど調査されていない。
最近の実証研究は、非構造的あるいは理解されていない相互作用のダイナミクスが、誤りの伝播、不正確な解に関する早めのコンセンサス、あるいは収束を妨げる長い不一致をもたらすことを示している。
系統的なアプローチでは,効率(収束の速度と安定性),一貫性(BLEUとROUGEが視覚化した役割アライメントの程度),有効性(コンパイル成功度とエラー解決度)という,マルチエージェントインタラクションの3つの重要な側面を明らかにしている。
論文 参考訳（メタデータ） (2026-05-22T18:56:47Z) - Plausible but Wrong: A case study on Agentic Failures in Astrophysical Workflows [10.078675569996992]
CMBAgentを2つのワークフローパラダイムと18の天体物理タスクで評価した。
One-Shot設定では、ドメイン固有のコンテキストへのアクセスは、およそ6倍のパフォーマンス向上をもたらす。
ディープ・リサーチ・セッティングでは、このシステムはストレステスト全体でサイレント障害をしばしば示し、身体的に矛盾した後部を自己診断なしで生成する。
論文 参考訳（メタデータ） (2026-04-28T08:01:23Z) - NewtonBench: Benchmarking Generalizable Scientific Law Discovery in LLM Agents [65.85967483058705]
科学法発見のための強力なツールとして、大規模な言語モデルが登場している。
このタスクの既存のベンチマークは、基本的な方法論のトリレンマに悩まされている。
12の物理領域にわたる324の科学法発見タスクからなるベンチマークであるNewtonBenchを紹介する。
論文 参考訳（メタデータ） (2025-10-08T16:12:11Z) - ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows [82.07367406991678]
大規模言語モデル(LLM)は自然言語処理を超えてその影響を拡大している。
これらのうち、コンピュータ利用エージェントは、人間がしているようにオペレーティングシステムと対話することができる。
我々はScienceBoardを紹介し、ダイナミックで視覚的にリッチな科学ソフトウェアを特徴とする現実的でマルチドメイン環境を包含する。
論文 参考訳（メタデータ） (2025-05-26T12:27:27Z) - Understanding Fine-grained Distortions in Reports of Scientific Findings [46.96512578511154]
歪んだ科学コミュニケーションは、不健康な行動の変化を招き、科学機関の信頼を低下させる可能性があるため、個人や社会に害を与える。
近年の科学コミュニケーションの増大を考えると、科学出版物からの発見が一般大衆にどのように報告されるかについて、きめ細かい理解が不可欠である。
論文 参考訳（メタデータ） (2024-02-19T19:00:01Z) - Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations [58.96953392466609]
エージェント相互作用の現代的表現の因果認識を詳細に検討する。
近年の表現は、非因果剤の摂動に対して部分的に耐性があることが示されている。
本稿では,因果アノテーションを用いて潜在表現を規則化するメトリクス学習手法を提案する。
論文 参考訳（メタデータ） (2023-12-07T18:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。