論文の概要: COGTRL: Training LLMs for Scientific Discovery Assistance using Cognitive Traces via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.30109v2
• Date: Sun, 06 Sep 2026 01:08:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-09 22:37:20.317958
• Title: COGTRL: Training LLMs for Scientific Discovery Assistance using Cognitive Traces via Reinforcement Learning
• Title（参考訳）: COGTRL:強化学習による認知的トレースを用いた科学的発見支援のためのLLMの訓練
• Authors: Shrinidhi Kumbhar, Santosh Mashetty, Divij Handa, Kevin Coutinho, Siddharth Sambhaji Ghule, Chitta Baral,
• Abstract要約: 大規模な言語モデル (LLMs) は、科学的な研究のために訓練され、科学的な発見の補助として統合されつつある。 LLMは、認知的トレースを生成するために訓練された場合、科学文献にのみ訓練された場合よりも、科学的発見アシスタントとして優れた性能を示すことを示す。 認知的根拠に基づく推論をエミュレートするためにLLMを訓練する軌道レベルの強化学習フレームワークであるCOGTRLを提案する。
• 参考スコア（独自算出の注目度）: 27.94684096190234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) trained on extensive scientific research are increasingly integrated as assistants for scientific discovery. However, most research papers omit the fine-grained cognitive process of examining constraints, failed alternatives, and iterative decisions required to achieve the desired goal. Such cognitive processes are vital for real-world scientists working toward specific goals under constraints. In this paper, we show that LLMs, when trained to produce such cognitive traces, perform better as scientific discovery assistants than when trained solely on scientific literature. We propose COGTRL, a trajectory-level reinforcement learning framework that trains LLMs to emulate cognitively grounded reasoning by jointly optimizing cognitive traces and the scientific steps produced in an interleaved manner. Across two 3B-parameter models and two scientific domains (AI and Materials Science), COGTRL improves method quality by an average of 7.85 points over comparable 3B model baselines and achieves competitive performance relative to 70B parameter models. Moreover, analysis by domain experts shows a preference for methods generated by COGTRL over the baselines.
• Abstract（参考訳）: 大規模な言語モデル (LLMs) は、科学的な研究のために訓練され、科学的な発見の補助として統合されつつある。 しかし、ほとんどの研究論文では、制約や代替策の失敗、そして望ましい目標を達成するために必要な反復的な決定といった、きめ細かい認知プロセスを省略している。 このような認知プロセスは、制約の下で特定の目標に向かって働く現実世界の科学者にとって不可欠である。 本稿では,LLMが科学的文献のみを学習した場合よりも,科学的発見アシスタントとして優れることを示す。 我々は,認知的痕跡を協調的に最適化し,認知的根拠に基づく推論をエミュレートするためにLLMを訓練する軌道レベルの強化学習フレームワークであるCOGTRLを提案する。 2つの3Bパラメータモデルと2つの科学領域(AIとマテリアルサイエンス)にわたって、COGTRLは、同等の3Bモデルベースラインに対して平均7.85ポイントのメソッド品質を改善し、70Bパラメータモデルに対する競合性能を達成する。 さらに、ドメインの専門家による分析では、ベースラインよりもCOGTRLが生成するメソッドが好まれている。

関連論文リスト

• Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning [53.82037883518254]
  SciReasは、科学的推論タスクのための様々なベンチマークスイートである。 次に、科学的タスクにおける推論と知識の異なる役割を研究するための探索フレームワークであるKRUXを提案する。
  論文  参考訳（メタデータ） (2025-08-26T17:04:23Z)
• Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Opportunities [62.05713042908654]
  本稿では,逆強化学習(IRL)のレンズによる大規模言語モデル(LLM)のアライメントの進歩について概観する。 我々は、人間のデータからニューラル報酬モデルを構築する必要性を強調し、このパラダイムシフトの形式的および実践的意味について議論する。
  論文  参考訳（メタデータ） (2025-07-17T14:22:24Z)
• Can AI Validate Science? Benchmarking LLMs for Accurate Scientific Claim $\rightarrow$ Evidence Reasoning [6.043212666944194]
  CLAIM-BENCHは,科学的クレームエビデンス抽出と検証において,大規模言語モデルの能力を評価するためのベンチマークである。 GPT-4やClaudeのようなクローズドソースモデルは、精度とリコールにおいて、オープンソースモデルよりも一貫して優れています。 戦略的に設計された3つのパスと1対1のプロンプトアプローチは、分散した証拠とクレームを正確にリンクするLSMの能力を大幅に向上させた。
  論文  参考訳（メタデータ） (2025-06-09T21:04:39Z)
• An Empirical Study on Reinforcement Learning for Reasoning-Search Interleaved LLM Agents [34.25887147052966]
  強化学習(RL)は、現実世界の問題解決に複雑な推論が可能な大規模言語モデル(LLM)の訓練に強い可能性を示している。 最近では、RLを利用して、推論と検索エンジンの使用を巧みに組み合わせた高度なLLMベースの検索エージェントが作成されている。 1)報酬の定式化,(2)基礎となるLLMの選択と特性,(3)RLプロセスにおける検索エンジンの役割など,重要な要素はさらなる調査が必要である。
  論文  参考訳（メタデータ） (2025-05-21T05:09:43Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Reinforcement Learning Enhanced LLMs: A Survey [45.57586245741664]
  我々はRL強化大言語モデル(LLM)に関する最新の知識の体系的なレビューを行う。 具体的には、RLの基礎を詳述し、(2)人気のRL強化LLMを導入し、(3)広く使われている報酬モデルに基づくRL技術であるReinforcement Learning from Human Feedback(RLHF)とReinforcement Learning from AI Feedback(RLAIF)についてレビューする。
  論文  参考訳（メタデータ） (2024-12-05T16:10:42Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• Ensemble Reinforcement Learning: A Survey [43.17635633600716]
  強化学習(Reinforcement Learning, RL)は, 様々な科学的, 応用的な問題に対処するための, 極めて効果的な手法として登場した。 これに対し, アンサンブル強化学習(ERL)は, RLとアンサンブル学習(EL)の両方の利点を組み合わせた有望なアプローチであり, 広く普及している。 ERLは複数のモデルやトレーニングアルゴリズムを活用して、問題空間を包括的に探索し、強力な一般化能力を持つ。
  論文  参考訳（メタデータ） (2023-03-05T09:26:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。