論文の概要: SciTrust 2.0: A Comprehensive Framework for Evaluating Trustworthiness of Large Language Models in Scientific Applications

• arxiv url: http://arxiv.org/abs/2510.25908v1
• Date: Wed, 29 Oct 2025 19:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.548009
• Title: SciTrust 2.0: A Comprehensive Framework for Evaluating Trustworthiness of Large Language Models in Scientific Applications
• Title（参考訳）: SciTrust 2.0: 科学応用における大規模言語モデルの信頼性評価のための包括的フレームワーク
• Authors: Emily Herron, Junqi Yin, Feiyi Wang,
• Abstract要約: 大規模言語モデル(LLM)は、科学的研究において変革の可能性を示しているが、その高い文脈への展開は、重大な信頼性の懸念を引き起こす。 本稿では,科学応用におけるLCMの信頼性を評価するための総合的なフレームワークであるSciTrust 2.0を紹介する。
• 参考スコア（独自算出の注目度）: 0.9650932290026195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated transformative potential in scientific research, yet their deployment in high-stakes contexts raises significant trustworthiness concerns. Here, we introduce SciTrust 2.0, a comprehensive framework for evaluating LLM trustworthiness in scientific applications across four dimensions: truthfulness, adversarial robustness, scientific safety, and scientific ethics. Our framework incorporates novel, open-ended truthfulness benchmarks developed through a verified reflection-tuning pipeline and expert validation, alongside a novel ethics benchmark for scientific research contexts covering eight subcategories including dual-use research and bias. We evaluated seven prominent LLMs, including four science-specialized models and three general-purpose industry models, using multiple evaluation metrics including accuracy, semantic similarity measures, and LLM-based scoring. General-purpose industry models overall outperformed science-specialized models across each trustworthiness dimension, with GPT-o4-mini demonstrating superior performance in truthfulness assessments and adversarial robustness. Science-specialized models showed significant deficiencies in logical and ethical reasoning capabilities, along with concerning vulnerabilities in safety evaluations, particularly in high-risk domains such as biosecurity and chemical weapons. By open-sourcing our framework, we provide a foundation for developing more trustworthy AI systems and advancing research on model safety and ethics in scientific contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、科学的研究において変革の可能性を示しているが、その高い文脈への展開は、重大な信頼性の懸念を引き起こす。 SciTrust 2.0は、科学的応用におけるLCMの信頼性を評価するための総合的なフレームワークであり、真理性、敵対的堅牢性、科学的安全性、科学的倫理である。 我々のフレームワークは、検証されたリフレクションチューニングパイプラインと専門家による検証を通じて開発された、新しい、オープンな真正性ベンチマークと、デュアルユース研究やバイアスを含む8つのサブカテゴリをカバーする科学研究コンテキストのための、新しい倫理ベンチマークを組み込んでいる。 我々は,4つの科学特化モデルと3つの汎用産業モデルを含む7つの卓越したLCMを評価し,精度,意味的類似度,LCMに基づくスコアなどの複数の評価指標を用いた。 GPT-o4-miniは真実性評価と敵対的堅牢性において優れた性能を示す。 科学特化モデルでは、安全性評価の脆弱性、特にバイオセキュリティや化学兵器のようなリスクの高い領域において、論理的および倫理的推論能力に重大な欠陥が見られた。 フレームワークをオープンソース化することで、より信頼できるAIシステムの開発と、科学的文脈におけるモデルの安全性と倫理に関する研究を促進する基盤を提供する。

関連論文リスト

• SCI-Verifier: Scientific Verifier with Thinking [37.08904000514563]
  大規模言語モデル(LLM)は、科学的推論にますます応用されている。 科学的領域における既存の検証研究は2つの大きな限界に悩まされている。 データレベルとモデルレベルでのソリューションを提案する。
  論文  参考訳（メタデータ） (2025-09-29T04:58:43Z)
• Unveiling Trust in Multimodal Large Language Models: Evaluation, Analysis, and Mitigation [51.19622266249408]
  MultiTrust-XはMLLMの信頼性問題を評価、分析、緩和するためのベンチマークである。 分類に基づいて、MultiTrust-Xには32のタスクと28のキュレートデータセットが含まれている。 私たちの実験は、現在のモデルに重大な脆弱性を明らかにします。
  論文  参考訳（メタデータ） (2025-08-21T09:00:01Z)
• The Ever-Evolving Science Exam [69.20851050366643]
  本研究では,基礎モデルの科学的能力を確実に評価するための動的ベンチマークであるEver-Evolving Science Exam (EESE)を紹介する。 1)5つの分野と500以上のサブフィールドにまたがる専門的な科学インスタンス(問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ)から構成される。
  論文  参考訳（メタデータ） (2025-07-22T12:22:16Z)
• Dynamic Knowledge Exchange and Dual-diversity Review: Concisely Unleashing the Potential of a Multi-Agent Research Team [53.38438460574943]
  IDVSCIは、大規模言語モデル(LLM)上に構築されたマルチエージェントフレームワークである。 動的知識交換機構とデュアルダイバーシティ・レビュー・パラダイムという2つの重要なイノベーションが組み込まれている。 結果は、IDVSCIが2つのデータセットで常に最高のパフォーマンスを達成していることを示している。
  論文  参考訳（メタデータ） (2025-06-23T07:12:08Z)
• LiveIdeaBench: Evaluating LLMs' Divergent Thinking for Scientific Idea Generation with Minimal Context [13.967898012303325]
  我々は,Large Language Modelsの科学的アイデア生成を評価するベンチマークであるLiveIdeaBenchを紹介する。 我々のベンチマークでは、最先端のLCMのダイナミックパネルを用いて、創発性、実現性、流布性、柔軟性、明快さの5つの重要な側面で生成されたアイデアを評価する。 我々の結果は、QwQ-32B-previewのようなモデルが、一般的な知能スコアに大きな差があるにもかかわらず、claude-3.7-sonnet:thinkingのような上位モデルのモデルに匹敵する創造的なパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-12-23T14:13:44Z)
• SciSafeEval: A Comprehensive Benchmark for Safety Alignment of Large Language Models in Scientific Tasks [36.99233361224705]
  大規模言語モデル(LLM)は、生物学、化学、医学、物理学など、様々な分野の科学的なタスクに変革をもたらす。 既存のベンチマークは主にテキストの内容に焦点を当て、分子、タンパク質、ゲノム言語などの重要な科学的表現を見渡す。 SciSafeEvalは, LLMの安全アライメントを, 様々な科学的タスクで評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2024-10-02T16:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。