論文の概要: Aligning LLMs with Biomedical Knowledge using Balanced Fine-Tuning

• arxiv url: http://arxiv.org/abs/2511.21075v1
• Date: Wed, 26 Nov 2025 05:34:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.977457
• Title: Aligning LLMs with Biomedical Knowledge using Balanced Fine-Tuning
• Title（参考訳）: バランスファインチューニングを用いたバイオメディカル知識を用いたLCMの調整
• Authors: Zhenchao Tang, Fang Wang, Haohuai He, Jiale Zhou, Tianxu Lv, Jun Zhu, Shouzhi Chen, Minghao Yang, Yu Wang, Jiayang Wu, Yidong Song, Jianhua Yao,
• Abstract要約: 本稿では,大規模言語モデルと専門的なバイオメディカル知識との整合を図るためのバランスド・ファイン・チューニング(BFT)を提案する。 BFTは、外部の報酬信号なしでスパースデータから複雑な推論を学習するために設計された効率的なポストトレーニング手法である。
• 参考スコア（独自算出の注目度）: 25.770530162946326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective post-training is essential to align Large Language Models (LLMs) with specialized biomedical knowledge to accelerate life science research. However, current approaches face significant limitations. First, biomedical reasoning involves intricate mechanisms often represented by sparse textual data. Standard Supervised Fine-Tuning (SFT) tends to overfit to surface-level instruction patterns without effectively internalizing this fragmented scientific knowledge. Second, Reinforcement Learning (RL) is impractical for this domain, as defining meaningful rewards often necessitates prohibitive experimental validation (e.g., wet-lab verification of drug responses), rendering real-time feedback unfeasible. We propose Balanced Fine-Tuning (BFT), an efficient post-training method designed to learn complex reasoning from sparse data without external reward signals. BFT operates through a two-layer weighting mechanism: 1. At the token level, it scales loss via prediction probabilities to stabilize gradients and prevent overfitting; 2. At the sample level, it uses "minimum group confidence" to adaptively enhance the learning of hard samples. Experiments demonstrate that BFT significantly outperforms SFT. In medical tasks, it enables LLMs to acquire knowledge that SFT misses. In biological tasks, BFT-based LLMs surpass GeneAgent (an accurate agent for biology analysis) in biological process reasoning. Moreover, the text embeddings generated by BFT can be directly applied to downstream tasks, such as gene interaction and single-cell perturbation response prediction. These results indicate that BFT facilitates broad applications of LLMs in biomedical research.
• Abstract（参考訳）: 生命科学研究を加速させるためには,大規模言語モデル(LLM)を専門の生物医学知識と整合させることが重要である。 しかし、現在のアプローチは重大な制限に直面している。 第一に、バイオメディカル推論は、しばしばスパーステキストデータで表される複雑なメカニズムを含む。 SFT(Standard Supervised Fine-Tuning)は、この断片化された科学的知識を効果的に内部化することなく、表面レベルの命令パターンに過度に適合する傾向にある。 第二に、強化学習(Reinforcement Learning, RL)は、しばしば禁止的な実験的検証(例えば、薬物反応のウェットラブ検証)を必要とする有意義な報酬を定義するため、この領域では実践的ではない。 本稿では,外的報酬信号のないスパースデータから複雑な推論を学習するための効率的なポストトレーニング手法であるBa balanced Fine-Tuning (BFT)を提案する。 BFTは2層重み付け機構を介して動作します。 1.トークンレベルでは、予測確率を介して損失を拡大し、勾配を安定させ、過度な適合を防止する。 2) サンプルレベルでは, 「最小グループ信頼」 を用いて, ハードサンプルの学習を適応的に強化する。 実験により、BFTはSFTを著しく上回ることが示された。 医学的なタスクでは、LSMはSFTが見逃す知識を取得することができる。 生物学的タスクでは、BFTベースのLLMは生物学的プロセスの推論においてGeneAgent(生物学分析の正確なエージェント)を上回っている。 さらに、BFTによって生成されたテキスト埋め込みは、遺伝子相互作用や単一セル摂動応答予測などの下流タスクに直接適用することができる。 これらの結果は,バイオメディカル研究において,BFTがLLMの幅広い応用を促進することを示唆している。

関連論文リスト

• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• HySim-LLM: Embedding-Weighted Fine-Tuning Bounds and Manifold Denoising for Domain-Adapted LLMs [2.079369647798082]
  大規模言語モデル(LLM)は、テキスト理解と推論において顕著な進歩を遂げた。 埋め込み重み付きファインチューニングと多様体認識デノーミングを統合した,統一的な数学的・計算フレームワークHySim-LLMを提案する。 本研究では,(1)組込み発散下での適応性能を定量化する類似性重み付き一般化境界,(2)ノイズやオフ多様体からの損失寄与を束縛する多様体に基づく記述保証,の2つの理論的結果を確立する。
  論文  参考訳（メタデータ） (2025-10-09T05:16:46Z)
• Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective [98.45690529036848]
  Supervised Fine-Tuning (SFT) や Reinforcement Fine-Tuning (RFT) といったポストトレーニングアルゴリズムは、マルチモーダルな大規模言語モデルを下流タスクに適応するために広く使われている。 タスク適応には有効であるが、以前の知識に対する影響はいまだ不明である。
  論文  参考訳（メタデータ） (2025-06-30T04:15:01Z)
• Generalists vs. Specialists: Evaluating LLMs on Highly-Constrained Biophysical Sequence Optimization Tasks [37.326754557721586]
  大規模言語モデル (LLM) は生体分子最適化問題において有望であることを示す。 LaMBO-2のような特殊なソルバは、効率性ときめ細かい制御を提供するが、より多くのドメインの専門知識を必要とする。 生物物理シーケンス最適化問題の幾何学的構造を捉えた合成テストスイートであるEhrlich関数を導入することで、この問題に対処する。
  論文  参考訳（メタデータ） (2024-10-29T17:45:57Z)
• Physical formula enhanced multi-task learning for pharmacokinetics prediction [54.13787789006417]
  AIによる薬物発見の大きな課題は、高品質なデータの不足である。 薬物動態の4つの重要なパラメータを同時に予測するPEMAL法を開発した。 実験の結果,PEMALは一般的なグラフニューラルネットワークに比べてデータ需要を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-04-16T07:42:55Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。