論文の概要: Assessing Language Models for Scientific Applications: Inertial Confinement Fusion as a Use Case

• arxiv url: http://arxiv.org/abs/2610.38024v1
• Date: Tue, 27 Oct 2026 22:21:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.920911
• Title: Assessing Language Models for Scientific Applications: Inertial Confinement Fusion as a Use Case
• Title（参考訳）: 科学応用のための言語モデルの評価--慣性閉じ込め融合を事例として
• Abstract要約: 本稿では,定性推論,数値計算,記号導出,方程式定式化にまたがる250の質問を専門的に算出したベンチマークを開発した。 決定論的数値および記号的チェックと言語モデル判断を用いた応答の評価を行った。 Prosperoはドメイン適応型事前学習を併用したモデルである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advancing language models for specialized scientific applications requires evaluations of scientific fluency, physical reasoning, and quantitative analyses. Using inertial confinement fusion (ICF) as a test case, we have developed an expert-curated benchmark of 250 questions spanning qualitative reasoning, numerical calculation, symbolic derivation, and equation formulation. Responses have been evaluated using deterministic numerical and symbolic checks together with language-model judges. We compared a variety of out-of-the-box closed-source and open-source large language models with Prospero, a model specialized through combined domain-adaptive pretraining and supervised fine-tuning for ICF. We also conducted initial retrieval-assisted evaluations. Prospero improved its aggregate score by 10.7 percentage points over its base model, with gains across all question types. Frontier models achieved the highest aggregate scores, but critical physics errors persisted, particularly in numerical calculations. We note that domain-specific performance can improve through specialization, but benchmark gains alone do not establish scientific reliability. Retrieval improved performance for a smaller model but yielded no statistically significant improvement for a frontier model. Two scientific stress tests further illustrate useful capabilities and the need for expert assessment of physical assumptions and model validity. Based on these findings, we recommend evaluating existing domain capabilities and retrieval benefits before committing to substantial additional specialization.
• Abstract（参考訳）: 専門的な科学的応用のための言語モデルの改善には、科学的流布、物理的推論、定量的分析の評価が必要である。 Inertial Confinement fusion (ICF) をテストケースとして,定性推論,数値計算,記号導出,方程式定式化を対象とする250の質問を専門的に算出したベンチマークを開発した。 決定論的数値および記号的チェックと言語モデル判断を用いた応答の評価を行った。 ICFのドメイン適応型事前学習と教師付き微調整を組み合わせたモデルであるProsperoと比較した。 また,検索支援評価も行った。 プロスペロは総得点をベースモデルで10.7ポイント改善し、全ての質問タイプでポイントを獲得した。 フロンティアモデルは最高スコアを達成したが、特に数値計算では重要な物理誤差が続いた。 ドメイン固有の性能は特殊化によって向上するが、ベンチマークゲインだけでは科学的信頼性は確立しない。 検索はより小さなモデルの性能を改善したが、フロンティアモデルでは統計的に有意な改善は得られなかった。 2つの科学的ストレステストは、より有用な能力と、物理的仮定の専門的な評価とモデルの妥当性の必要性をさらに説明します。 これらの知見に基づき、我々は、相当量の専門化にコミットする前に、既存のドメイン機能と検索の利点を評価することを推奨する。

関連論文リスト

• Rethinking Domain Specialization for Open-Ended Scientific Reasoning in Astronomy Language Models [3.8041936868041692]
  判定に基づく正当性と相補的基準指標を用いて,オープンウェイトおよびAPIを利用した汎用モデル,マルチモーダルモデル,天文学特化モデルを比較した。 強力な汎用モデルがこのテストベッドで最高の正当性ベースラインを確立する一方で、メートル法合意、判断感度、ベンチマーク組成、モダリティの分析は、単一のリーダーボードで取得されていない変動を明らかにする。 これらの結果は、ドメインの専門化をタスクおよびデプロイメントに依存した特性として扱い、どのモデル、能力、評価基準が科学的推論に適しているかを判断するドメイン固有の評価の役割を強調する。
  論文  参考訳（メタデータ） (2026-09-15T15:05:09Z)
• Beyond Scores: Diagnostic LLM Evaluation via Fine-Grained Abilities [21.946544253237793]
  大規模言語モデルの現在の評価は、様々なタスクにまたがるパフォーマンスを単一のスコアに集約する。 このギャップを動機として,複数のきめ細かな次元にまたがるモデル能力を推定する認知診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T01:48:22Z)
• Reward Modeling for Scientific Writing Evaluation [50.33952894976367]
  多様なオープンエンドの科学的記述タスクを評価するために、確実にデプロイできるモデルを開発することが重要である。 本稿では,科学的執筆評価に適した費用効率の高いオープンソース報酬モデルを提案する。
  論文  参考訳（メタデータ） (2026-01-16T15:32:58Z)
• PRISM-Physics: Causal DAG-Based Process Evaluation for Physics Reasoning [57.868248683256574]
  PRISM-Physicsはプロセスレベルの評価フレームワークであり、複雑な物理推論問題のベンチマークである。 解は公式の有向非巡回グラフ(DAG)として表される。 その結果,評価フレームワークは人的専門家のスコアと一致していることがわかった。
  論文  参考訳（メタデータ） (2025-10-03T17:09:03Z)
• Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination [67.67725938962798]
  大規模なWebスケールコーパスの事前トレーニングは、広く使用されているベンチマークでデータ汚染の影響を受けやすいQwen2.5が残る。 我々はRandomCalculationと呼ばれる任意の長さと難易度を持つ完全クリーンな算術問題を生成するジェネレータを導入する。 精度の高い報酬信号のみがベースモデルの性能境界を超える安定した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-07-14T17:55:15Z)
• Interpretable Credit Default Prediction with Ensemble Learning and SHAP [3.948008559977866]
  本研究では、信用デフォルト予測の問題に焦点をあて、機械学習に基づくモデリングフレームワークを構築し、様々な主流分類アルゴリズムの比較実験を行う。 その結果、アンサンブル学習法は、特に特徴とデータ不均衡問題の間の複雑な非線形関係を扱う際に、予測性能に明らかな利点があることが示唆された。 外部クレジットスコア変数はモデル決定において主要な役割を担い、モデルの解釈可能性と実用的な応用価値を改善するのに役立ちます。
  論文  参考訳（メタデータ） (2025-05-27T07:23:22Z)
• Tests for model misspecification in simulation-based inference: from local distortions to global model checks [2.0209172586699173]
  我々は、広範囲のモデル不一致分析タスクに対して、堅牢で柔軟な基盤を提供する。 我々は、異常検出、モデル検証、良質な残差分析といった古典的手法に明確な分析接続を行う。 本稿では, 実際の重力波データ, 特にGW150914について, このような歪み駆動型モデルの不特定試験を行う方法を示す。
  論文  参考訳（メタデータ） (2024-12-19T17:48:03Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。