論文の概要: Benchmarking Fine-tuning and Retrieval Strategies for a Multimodal Language Model on the NRC Reactor Operator Licensing Examination

• arxiv url: http://arxiv.org/abs/2607.22067v1
• Date: Fri, 24 Jul 2026 08:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.078516
• Title: Benchmarking Fine-tuning and Retrieval Strategies for a Multimodal Language Model on the NRC Reactor Operator Licensing Examination
• Title（参考訳）: NRCリアクタライセンシング試験におけるマルチモーダル言語モデルのための微調整・検索手法のベンチマーク
• Abstract要約: 大規模言語モデル(LLM)を原子力産業に統合するには、ドメイン固有の知識に基づくアウトプットが必要である。 我々は,米国原子力規制委員会 (NRC) の原子炉運転免許試験に対して,8つのモデル検索構成を評価した。 固定サイズチャンキングRAGによるSFT構成は,14項目中8項目の基準に適合し,すべての選択肢に勝るものの,微調整を伴わない構成では通過しなかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of large language models (LLMs) into the nuclear power industry requires outputs grounded in domain-specific knowledge. This study evaluates a 31-billion-parameter open-weight multimodal model (Gemma 4 31B-IT) on its capacity to apply nuclear knowledge by benchmarking eight model-retrieval configurations against the U.S. Nuclear Regulatory Commission (NRC) Reactor Operator licensing examination. We evaluate 14 Generic Fundamentals Examinations (GFE) from the 2015-2021 March sittings (seven pressurized and seven boiling water reactor exams) using the standard 80% human passing criterion. The base model is compared against configurations utilizing supervised fine-tuning (SFT) on Gemini-distilled chain-of-thought (CoT) rationales, retrieval-augmented generation (RAG) with BM25 sparse retrieval over the U.S. Department of Energy Fundamentals Handbook, and retrieval-augmented fine-tuning (RAFT). Within the retrieval pipeline, we compare fixed-size sliding-window chunking against structure-aware chunking. The SFT configuration with fixed-size chunking RAG met the criterion on 8 of the 14 examinations, outperforming all alternatives, whereas no configuration without fine-tuning passed any. Aggregate accuracy reached 79.7%, with a confidence interval spanning the threshold, and 80.2% on PWR items specifically. Furthermore, two regularities emerged: the preferred chunking strategy reverses depending on the model's training state, and RAFT underperforms compared to standard SFT in matching search environments. These results demonstrate which combination of fine-tuning and search approaches achieves operator-level capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)を原子力産業に統合するには、ドメイン固有の知識に基づくアウトプットが必要である。 本研究では, 原子力規制委員会 (NRC) の原子炉運転免許試験に対して, 8つのモデル検索構成をベンチマークし, 核知識の適用能力について, 31ビリオンパラメタのオープンウェイトマルチモーダルモデル(Gemma 4 31B-IT)を評価した。 2015-2021年3月の座位(加圧7回,沸騰水炉試験7回)から,標準の80%パス基準を用いて14種類の総合基礎試験(GFE)を評価した。 ベースモデルは、ジェミニ蒸留チェーン(CoT)の合理性、BM25のスパース検索による検索強化生成(RAG)、検索強化ファインチューニング(RAFT)を利用した構成と比較される。 探索パイプライン内では, 構造認識チャンキングに対して, 一定の大きさのスライディングウインドウチャンキングを比較する。 固定サイズチャンキングRAGによるSFT構成は,14項目中8項目の基準に適合し,すべての選択肢に勝るものの,微調整を伴わない構成では通過しなかった。 集計精度は79.7%に達し、信頼区間は閾値にまたがり、特にPWR項目では80.2%に達した。 さらに、2つの規則性が出現した: 好みのチャンキング戦略はモデルのトレーニング状態によって逆転し、RAFTは一致する検索環境において標準のSFTに比べて性能が劣る。 これらの結果は,微調整手法と探索手法の組み合わせによって,演算子レベルの能力が得られることを示す。

関連論文リスト

• Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation [141.29138788636013]
  任意のエージェントを評価するために80以上のベンチマークを移植するベンチマークアダプタを開発した。 54のベンチマークで,機能レベルにまたがる8モデルの大規模評価を行う。 私たちは29のベンチマークにまたがる82の難易度、多様性、高品質なタスクをキュレートしたHarbor-Indexを紹介します。
  論文  参考訳（メタデータ） (2026-09-03T16:26:20Z)
• PaperGym: Rubric-Centered Evolution for Research-Plan Generation [69.5921878728483]
  各研究論文を完全なトレーニング環境に変換する統合フレームワークであるPaperGymを紹介する。 PaperGymは論文の構造を利用しており、質問は研究目標と背景から合成され、基準は手法と実験から導かれる。 レシピが固定され、PaperGym-20kで訓練されたモデルが3方向比較の58.1%を獲得し、Hub Scienceの28.2%が勝利した。
  論文  参考訳（メタデータ） (2026-08-31T17:31:18Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• DREAM Technical Report [53.37525197047151]
  DREAMは、既存のパイプラインの上に認識認識、オーケストレーション、監査可能なポリシ層を追加し、それを置き換えることなく、自律的な最適化制御アーキテクチャである。 DREAMには2つのコアコンポーネントがある。まず、3層Intent Engineはデバイス上の信号を構造化されたL0/L1/L2インテント表現に融合する。エッジクラウドトリガーチェーンはレポートのボリュームを約8.7%に削減する。 第2に、Meta EngineはMetaModelを使って、層状M1-to-M2-to-M3推論(インテントの要約、ストラテジーメモリに通知されるストラテジープランニング、パラメータ変換など)を定式化したM1-to-M2-to-M3推論に使用します。
  論文  参考訳（メタデータ） (2026-08-10T10:35:32Z)
• Verifier-Based Reinforcement Fine-Tuning of Reasoning Models for Thermal Energy Storage Control [0.0]
  本研究は,証明可能な報酬を伴う強化学習を通じて,オープンウェイト推論モデルに適応する。 30の訓練プロンプトのみを使用して、強化微調整(RFT)は上層階のスケジューラとしてモデルを訓練する。 RFTは、オープンウェイトモデルの排出量を70.5から61.2kg-CO2に削減する。
  論文  参考訳（メタデータ） (2026-07-14T15:08:39Z)
• Mat-Pref: Verifiable-Reward Training Improves Compositional Reasoning in Inorganic Materials [2.102846336724103]
  Mat-Prefは、11の無機構造体ファミリーにわたる10,837のイオン置換質問のベンチマークである。 4つのゼロショットフロンティアモデルは、すべての分割において33-54%の範囲に留まっており、スケールだけでは、このタスク要求の合成化学的理由を解決していないことを確認している。
  論文  参考訳（メタデータ） (2026-06-20T01:46:41Z)
• Interpretable Physics-Informed Load Forecasting for U.S. Grid Resilience: SHAP-Guided Ensemble Validation in Hybrid Deep Learning Under Extreme Weather [0.0]
  統一的で解釈可能な物理インフォーム・アンサンブル・フレームワークを提案する。 このフレームワークはテストウィンドウ上で713MW MAE、812MW RMSE、1.18%のMAPEを達成する。 SHAP解析は、通常の運転で温度が支配的になるのに対して、風速や降水は寒冷前線や熱波でより影響を及ぼす。
  論文  参考訳（メタデータ） (2026-04-26T02:26:12Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• L-RAG: Balancing Context and Retrieval with Entropy-Based Lazy Loading [0.0]
  Reval-Augmented Generation (RAG) は、大規模言語のアウトプットを現実の知識で基礎づける主要なパラダイムとして登場した。 本稿では,エントロピーゲーティングによる階層型コンテキスト管理を実現する適応型フレームワークL-RAGを紹介する。 L-RAGはより効率的なRAGデプロイメントに向けた実践的でトレーニングなしのアプローチを提供する。
  論文  参考訳（メタデータ） (2026-01-10T12:25:19Z)
• The Digital Sous Chef -- A Comparative Study on Fine-Tuning Language Models for Recipe Generation [2.497854684676663]
  本稿では,GPT-2大モデル(774M)とGPT-2小モデル(124M)と,RecipeDB 5-cuisineコーパス上の従来のLSTM/RNNベースラインとを比較検討した。 キーとなるコントリビューションは、23個の共通分数トークンとカスタム構造マーカーで語彙を拡大するトークン化戦略です。
  論文  参考訳（メタデータ） (2025-08-20T13:53:13Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。