論文の概要: RLDBF: Enhancing LLMs Via Reinforcement Learning With DataBase FeedBack

• arxiv url: http://arxiv.org/abs/2504.03713v1
• Date: Fri, 28 Mar 2025 14:18:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-13 06:23:27.268759
• Title: RLDBF: Enhancing LLMs Via Reinforcement Learning With DataBase FeedBack
• Title（参考訳）: RLDBF: DataBase FeedBackによる強化学習によるLLMの強化
• Authors: Weichen Dai, Zijie Dai, Zhijie Huang, Yixuan Pan, Xinhe Li, Xi Li, Yi Zhou, Ji Qi, Wu Jiang,
• Abstract要約: 本研究は,構造化された科学データを用いた大規模言語モデルの強化に関する体系的な研究の先駆者である。 大規模モデルにおける数値的不感度の固有の限界に対処するために,データベースフィードバックを用いた強化学習という,革新的な方法論を提案する。
• 参考スコア（独自算出の注目度）: 15.24890160206967
• License:
• Abstract: While current large language models (LLMs) demonstrate remarkable linguistic capabilities through training on massive unstructured text corpora, they remain inadequate in leveraging structured scientific data (e.g., chemical molecular properties in databases) that encapsulate centuries of accumulated scientific expertise. These structured datasets hold strategic significance for advancing AI for Science yet current approaches merely treat them as auxiliary supplements to unstructured text. This study pioneers a systematic investigation into enhancing LLMs with structured scientific data, using chemical molecular science as a testbed. We investigate the impact of incorporating molecular property data on LLM across distinct training phases, including continual pre-training, supervised fine-tuning, and reinforcement learning. Notably, to address the inherent limitation of numerical insensitivity in large models, we propose an innovative methodology termed "Reinforcement Learning with Database Feedback" (RLDBF). Experimental evaluations demonstrate the efficacy of the proposed approach, with the model exhibiting remarkable generalization capabilities on previously unseen data and other chemical tasks. The results substantiate the potential of our method in advancing the field of structured scientific data processing within LLMs.
• Abstract（参考訳）: 現在の大規模言語モデル(LLMs)は、巨大な構造化されていないテキストコーパスのトレーニングを通じて顕著な言語機能を示すが、何世紀にもわたって蓄積された科学的な専門知識をカプセル化する構造化された科学データ(例えば、データベースの化学分子特性)を活用するには不十分である。 これらの構造化データセットは、AI for Scienceを進める上で戦略的に重要であるが、現在のアプローチは、非構造化テキストの補助的なサプリメントとして扱うだけである。 本研究は, 化学分子科学をテストベッドとして, 構造化された科学データを用いたLCMの強化に関する系統的研究の先駆者である。 分子特性データをLCMに組み込むことが、連続的な事前学習、教師付き微調整、強化学習など、異なる訓練段階にまたがる影響について検討する。 特に,大規模モデルにおける数値的不感度の固有の限界に対処するために,データベースフィードバックによる強化学習(RLDBF)と呼ばれる革新的な方法論を提案する。 提案手法の有効性を実験的に評価し, 前例のないデータや他の化学的なタスクに対して, 顕著な一般化能力を示した。 その結果,LLMにおける構造化された科学データ処理の分野を推し進める上で,本手法の可能性を実証した。

関連論文リスト

• Foundational Large Language Models for Materials Research [22.77591279242839]
  大規模言語モデル(LLM)は、自動分析と予測を通じて材料研究を加速する機会を提供する。 本稿では,LLaMAモデルの継続事前学習を通じて発達した材料科学の基礎モデルであるLLaMatについて述べる。 LLaMatは、一般的な言語能力を維持しつつ、材料固有のNLPと構造化情報抽出に優れることを示した。
  論文  参考訳（メタデータ） (2024-12-12T18:46:38Z)
• MolCap-Arena: A Comprehensive Captioning Benchmark on Language-Enhanced Molecular Property Prediction [44.27112553103388]
  分子特性予測を拡張した大規模言語モデル(LLM)の最初の包括的なベンチマークである分子キャプションアリーナを提示する。 汎用分子キャプタとドメイン特異的分子キャプタを含む20以上のLDMを,様々な予測タスクで評価した。 以上の結果から,LLM抽出した知識が最先端の分子表現を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-01T17:03:16Z)
• Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning [0.0]
  グラフニューラルネットワーク(GNN)の分析能力と大規模言語モデル(LLM)の言語生成・予測能力を利用する多モード融合(MMF)フレームワークを提案する。 本フレームワークは,グラフ構造化データのモデリングにおけるGNNの有効性とLLMのゼロショットおよび少数ショット学習能力を組み合わせることにより,オーバーフィッティングのリスクを低減し,予測の改善を実現する。
  論文  参考訳（メタデータ） (2024-08-27T11:10:39Z)
• Many-Shot In-Context Learning for Molecular Inverse Design [56.65345962071059]
  大規模言語モデル(LLM)は、数ショットのインコンテキスト学習(ICL)において、優れたパフォーマンスを示している。 マルチショットICLで利用可能な実験データの不足を克服する,新しい半教師付き学習手法を開発した。 示すように、この新しい手法は、既存の分子設計のためのICL法を大幅に改善し、科学者にとってアクセスしやすく、使いやすくする。
  論文  参考訳（メタデータ） (2024-07-26T21:10:50Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
  本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。 本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。 法発見と分子設計における枠組みの有効性を実証するための実験を行った。
  論文  参考訳（メタデータ） (2024-05-16T03:04:10Z)
• A quantitative analysis of knowledge-learning preferences in large language models in molecular science [24.80165173525286]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の観点から科学的問題に取り組むための新しい研究パラダイムを導入している。 LLMは分子の理解と生成を著しく強化し、しばしば複雑な分子パターンをデコードし合成する能力で既存の手法を超越している。 我々は、ChEBI-20-MMというマルチモーダルベンチマークを提案し、モデルとデータモダリティとの互換性と知識獲得を評価する1263の実験を行った。
  論文  参考訳（メタデータ） (2024-02-06T16:12:36Z)
• MolTC: Towards Molecular Relational Modeling In Language Models [28.960416816491392]
  分子間相互作用予測のための新しい枠組みとして,分子間相互作用予測法(分子間相互作用予測法)を提案する。 我々の実験は4000,000以上の分子対を含む様々なデータセットで実施され、現在のGNNおよびLLMベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-02-06T07:51:56Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• Federated Learning of Molecular Properties in a Heterogeneous Setting [79.00211946597845]
  これらの課題に対処するために、フェデレーションヘテロジニアス分子学習を導入する。 フェデレートラーニングにより、エンドユーザは、独立したクライアント上に分散されたトレーニングデータを保存しながら、グローバルモデルを協調的に構築できる。 FedChemは、化学におけるAI改善のための新しいタイプのコラボレーションを可能にする必要がある。
  論文  参考訳（メタデータ） (2021-09-15T12:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。