論文の概要: Reconstructing Biological Pathways by Applying Selective Incremental Learning to (Very) Small Language Models

• arxiv url: http://arxiv.org/abs/2507.04432v1
• Date: Sun, 06 Jul 2025 15:35:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.179962
• Title: Reconstructing Biological Pathways by Applying Selective Incremental Learning to (Very) Small Language Models
• Title（参考訳）: 選択的なインクリメンタルラーニングを(非常に)小言語モデルに適用した生物学的パスの再構築
• Authors: Pranta Saha, Joyce Reimer, Brook Byrns, Connor Burbridge, Neeraj Dhar, Jeffrey Chen, Steven Rayan, Gordon Broderick,
• Abstract要約: 汎用大規模言語AIモデル(LLM)は、しばしば「幻覚」と呼ばれる創造的な回答を提供する傾向を示す。 生物医学研究において, より小さく, ドメイン, タスク固有のLMの設計と利用が, より合理的かつ適切な利用である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.3613661942047476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of generative artificial intelligence (AI) models is becoming ubiquitous in many fields. Though progress continues to be made, general purpose large language AI models (LLM) show a tendency to deliver creative answers, often called "hallucinations", which have slowed their application in the medical and biomedical fields where accuracy is paramount. We propose that the design and use of much smaller, domain and even task-specific LM may be a more rational and appropriate use of this technology in biomedical research. In this work we apply a very small LM by today's standards to the specialized task of predicting regulatory interactions between molecular components to fill gaps in our current understanding of intracellular pathways. Toward this we attempt to correctly posit known pathway-informed interactions recovered from manually curated pathway databases by selecting and using only the most informative examples as part of an active learning scheme. With this example we show that a small (~110 million parameters) LM based on a Bidirectional Encoder Representations from Transformers (BERT) architecture can propose molecular interactions relevant to tuberculosis persistence and transmission with over 80% accuracy using less than 25% of the ~520 regulatory relationships in question. Using information entropy as a metric for the iterative selection of new tuning examples, we also find that increased accuracy is driven by favoring the use of the incorrectly assigned statements with the highest certainty (lowest entropy). In contrast, the concurrent use of correct but least certain examples contributed little and may have even been detrimental to the learning rate.
• Abstract（参考訳）: 生成人工知能(AI)モデルの使用は多くの分野で普及しつつある。 進歩は続いているが、汎用の大規模言語AIモデル(LLM)は、しばしば「幻覚」と呼ばれる創造的な答えをもたらす傾向を示しており、正確性が最重要である医療・生物医学分野への応用を遅らせている。 生物医学研究において, より小さく, ドメイン, タスク固有のLMの設計と利用が, より合理的かつ適切な利用である可能性が示唆された。 本研究は,分子成分間の制御相互作用を予測し,現在の細胞内経路の理解におけるギャップを埋めるための特別なタスクに,今日の標準による非常に小さなLMを適用した。 そこで本研究では,手作業による経路データベースから得られた既知の経路情報処理を,アクティブな学習手法の一部として,最も情報に富んだ例のみを選択し,活用することにより,正しく提案する。 この例では,変換器(BERT)アーキテクチャによる双方向エンコーダ表現に基づく小さな(約110万のパラメータ)LMが,約520の規制関係の25%以下を用いて,結核の持続性と伝達に関連する分子間相互作用を80%以上精度で提案できることが示されている。 情報エントロピーを新たなチューニング例の反復的選択の指標として用いた結果,不正確に割り当てられた文を高い確実性(最も低いエントロピー)で使用することによる精度の向上が示唆された。 対照的に、正しいが少なくとも特定の例の同時使用は、ほとんど寄与せず、学習率に有害であったかもしれない。

関連論文リスト

• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• CAF-YOLO: A Robust Framework for Multi-Scale Lesion Detection in Biomedical Imagery [0.0682074616451595]
  CAF-YOLOは、畳み込みニューラルネットワーク(CNN)とトランスフォーマーの強みを活用する、医学的対象検出のための、巧妙で堅牢な方法である。 ACFMモジュールはグローバル機能とローカル機能の両方のモデリングを強化し、長期的な機能依存のキャプチャを可能にする。 MSNNは多様なスケールにまたがる特徴を抽出することで、マルチスケールの情報集約を改善する。
  論文  参考訳（メタデータ） (2024-08-04T01:44:44Z)
• How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction? [1.7555695340815782]
  一般ドメインモデルは典型的にはバイオメディカルドメインモデルよりも優れていた。 バイオメディカル・インストラクション・ファインタニングは、パフォーマンスを一般的なインストラクション・ファインタニングと同等に改善した。 本研究は,一般のLMの大規模バイオメディカル・インスツルメンテーションに焦点を合わせることで,より有益である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-02-21T01:57:58Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Symbiotic Message Passing Model for Transfer Learning between Anti-Fungal and Anti-Bacterial Domains [0.0]
  我々は、異なるドメインからグラフ-ニューラルネットワークモデルを統合するための新しい手法、SMPNN(Symbiotic Message Passing Neural Network)を開発した。 抗菌活性から抗真菌活性を予測することで,本手法の利点を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:21:36Z)
• An Adaptive Contrastive Learning Model for Spike Sorting [12.043679000694258]
  神経科学研究においては、個々のニューロンの活動を分離することが重要である。 大規模なシリコン技術の発展に伴い、スパイクの人工的解釈とラベル付けはますます非現実的になりつつある。 対照的な学習を通してスパイクから表現を学習する新しいモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T09:18:46Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)
• Boosting Low-Resource Biomedical QA via Entity-Aware Masking Strategies [25.990479833023166]
  バイオメディカル質問応答(QA)は、膨大な科学文献から高品質な情報を提供する能力に注目が集まっている。 バイオメディカル・エンティティ・アウェア・マスキング(BEM)と呼ばれるシンプルなアプローチを提案する。 マスク付き言語モデルにより、ドメインを特徴づける重要なエンティティに基づいてエンティティ中心の知識を学び、それらのエンティティをLM微調整の推進に活用します。 実験結果から, バイオメディカルQAデータセットにおける最先端モデルと同等の性能を示す。
  論文  参考訳（メタデータ） (2021-02-16T18:51:13Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)
• A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning [49.86828302591469]
  35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。 RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T20:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。