論文の概要: SciTrace: Trajectory-Aware Safety Reasoning for Scientific Discovery Agents

• arxiv url: http://arxiv.org/abs/2606.08234v1
• Date: Sat, 06 Jun 2026 15:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.985243
• Title: SciTrace: Trajectory-Aware Safety Reasoning for Scientific Discovery Agents
• Title（参考訳）: SciTrace:科学発見エージェントのための軌道対応安全推論
• Authors: Tanush Swaminathan, Runmin Jiang, Letian Zhang, Min Xu,
• Abstract要約: SciTraceは、科学エージェントパイプラインのすべてのステージに安全推論を織り込むフレームワークである。 240のリスクの高い研究課題と120のツール関連リスクタスクを6つの科学的領域に分散して評価した。
• 参考スコア（独自算出の注目度）: 10.651628193254028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based scientific agents have shown strong capacity for autonomous research, yet their safety layers remain structurally divorced from core reasoning: they inspect pipeline outputs rather than shaping the deliberation that produces them. This separation opens two failure modes: safety signals accumulated at one stage are discarded before the next, and sequences of individually benign tool calls can compose into harmful outcomes that no single-step filter detects. To address these challenges, we introduce \textbf{SciTrace}, a framework that weaves safety reasoning into every stage of the scientific agent pipeline. SciTrace couples two complementary mechanisms: a \textit{Safety-Intrinsic Reasoning Loop} (SIR) that maintains a cumulative risk state across the Thinker, Experimenter, Writer, and Reviewer stages through joint task-and-safety deliberation, and a \textit{Compositional Tool-Chain Verifier} (CTV) that performs trajectory-aware safety checks before execution, catching risks that surface only across multi-step tool sequences. Evaluated on 240 high-risk research tasks and 120 tool-related risk tasks spanning six scientific domains, SciTrace achieves state-of-the-art (\textbf{SOTA}) safety among compared frameworks across four backbone models: it consistently improves tool call safety and adversarial robustness while preserving scientific output quality, and it uncovers \textbf{78.8\%} of the compositional tool-chain escapes that single-step monitors miss. The project website is available at https://opensciagent.github.io/SciTrace/.
• Abstract（参考訳）: LLMベースの科学エージェントは、自律的な研究に強い能力を示してきたが、それらの安全層は、中核的な推論から構造的に離反している。 この分離は2つの障害モードを開放する: ある段階で蓄積された安全信号は次の段階で破棄され、個々の良質なツールコールのシーケンスは、1ステップのフィルタが検出しない有害な結果に構成される。 これらの課題に対処するために、科学エージェントパイプラインのすべてのステージに安全推論を織り込むフレームワークである‘textbf{SciTrace}を紹介します。 SciTraceには2つの補完メカニズムがある。Thinker、Experimenter、Writer、Reviewerの各ステージにまたがる累積リスク状態を維持できる‘textit{Safety-Intrinsic Reasoning Loop} (SIR) と、実行前にトラジェクトリを意識した安全チェックを実行する‘textit{Compositional Tool-Chain Verifier} (CTV) である。 SciTraceは6つの科学的領域にまたがる240のリスク研究タスクと120のツール関連リスクタスクに基づいて評価され、4つのバックボーンモデルで比較されたフレームワークのうち、最先端(\textbf{SOTA})の安全性を実現している。 プロジェクトのWebサイトはhttps://opensciagent.github.io/SciTrace/.comで公開されている。

関連論文リスト

• RUBAS: Rubric-Based Reinforcement Learning for Agent Safety [93.80584563695646]
  RUBASは、エージェント安全性のためのルーリックベースの強化学習フレームワークである。 エージェントの動作は、ツール使用の安全性、引数の安全性、応答の安全性、役に立つ4つの次元に分けられる。 実験により、RUBASは標準アライメントベースラインよりも安全性を向上し、ツール接地幻覚を低減し、競争力を維持することが示されている。
  論文  参考訳（メタデータ） (2026-06-02T09:02:14Z)
• COMPASS: Cognitive MCTS-Guided Process Alignment for Safe Search Agents [22.338984431904816]
  LLMによる検索エージェントは多段階の推論とツールの使用を可能にする。 既存のアライメント手法は、スパース安全信号の捕捉に苦労し、多段階の相互作用における多様な違反を監視できない。 本稿では,エージェントワークフロー全体にわたって堅牢な安全アライメントを実現するための,コグニティブMCTS型プロセスアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-29T04:51:06Z)
• Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback [38.251599309409]
  我々は,悪質なツールが探索中に合理的に振る舞う,異なる障害モード,認知的中毒について検討する。 ファイナルアクションリスクスコアリングのためのバックボーンに依存しないフレームワークであるVISTA-Guardを提案する。
  論文  参考訳（メタデータ） (2026-05-17T13:51:34Z)
• TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories [20.868825285848196]
  安全ガードレールは、自然言語の応答には適しているが、その有効性は、多段階のツール使用軌跡の中では明らかにされていない。 このギャップに対処するために、中間軌道安全性を評価するために特別に設計された最初の包括的なベンチマークであるStructureSafe-Benchを紹介します。
  論文  参考訳（メタデータ） (2026-04-08T15:46:14Z)
• DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
  DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。 エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。 DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
  論文  参考訳（メタデータ） (2026-02-11T07:45:14Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Preemptive Detection and Steering of LLM Misalignment via Latent Reachability [8.01833277608166]
  大規模言語モデル(LLM)は現在、日常的なツールで広く普及しており、有害なコンテンツを生成する傾向について緊急の安全上の懸念を提起している。 我々は, LLM推論に制御理論安全ツールを提供する, 到達可能性に基づくフレームワークであるBRT-Alignを提案する。
  論文  参考訳（メタデータ） (2025-09-25T20:15:29Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。