論文の概要: When Do Biological Reasoning Models Use Their Biological Inputs?
- arxiv url: http://arxiv.org/abs/2610.00898v1
- Date: Thu, 01 Oct 2026 01:27:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.839031
- Title: When Do Biological Reasoning Models Use Their Biological Inputs?
- Title(参考訳): 生物学的推論モデルは生体入力をいつ利用するか?
- Abstract要約: 生物学的推論モデルは、後トレーニングを使用して、LLMを生物学的基礎モデル表現と生物学的テキストに接続する。
この仮定は、DNA、タンパク質、単一細胞タスクにまたがる6つの生物学的推論モデルで検証される。
現在のポストトレーニング戦略は,基礎モデル表現がタスクのパフォーマンスに寄与することを保証していない。
- 参考スコア(独自算出の注目度): 44.9248609082377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biological reasoning models use post-training to connect LLMs to biological foundation model representations and biological text. Their benchmark accuracy is taken as evidence that LLMs reason over these inputs. We test this assumption in six biological reasoning models across DNA, protein, and single-cell tasks. We perturb one biological input while holding the query and other inputs fixed, construct evidence conflicts that pair the foundation model representation of one genome, protein, or cell with the text of another, fit linear probes to the representations the language model receives, and analyze reasoning traces against the biological inputs. Evo2 and ESM3 contribute little to BioReason and BioReason-Pro performance on the evaluated tasks. Shuffling the DNA sequence barely changes BioReason disease prediction accuracy, and in evidence conflicts the two models follow the text in 97.9% and 99.7% of cases. Linear probes trained on the Evo2 and ESM3 representations predict the task targets, so these foundation models encode information relevant to the task, but provide limited overall performance improvement to BioReason and BioReason-Pro. In contrast, foundation model inputs contribute to ChatNT, Prot2Text-V2, and CellWhisperer performance, and differentially expressed genes in the gene sentence contribute to Cell2Sentence-Scale performance. Across SFT and RL checkpoints of BioReason-Pro and 42 BioReason checkpoints, increases in accuracy do not imply greater performance contributions from biological inputs. BioReason traces misstate nucleotide changes, while BioReason-Pro traces describe functions omitted from final predictions under evidence conflicts. We find that current post-training strategies do not ensure that foundation model representations contribute to task performance.
- Abstract(参考訳): 生物学的推論モデルは、後トレーニングを使用して、LLMを生物学的基礎モデル表現と生物学的テキストに接続する。
それらのベンチマーク精度は、LSMがこれらの入力に対して理性を持つことを示す証拠として捉えられている。
この仮定は、DNA、タンパク質、単一細胞タスクにまたがる6つの生物学的推論モデルで検証される。
我々は、クエリと他の入力を固定したまま、ある生物学的入力を摂動させ、あるゲノム、タンパク質、またはセルの基盤モデル表現を他のテキストと組み合わせ、言語モデルが受け取る表現に線形プローブを適合させ、生物学的入力に対する推論トレースを解析するエビデンスを発生させる。
Evo2とESM3は評価タスクにおけるBioReasonとBioReason-Proのパフォーマンスにはほとんど寄与しない。
DNA配列のシャッフルはBioReason病の予測精度をほとんど変更せず、証拠では2つのモデルが97.9%と99.7%のケースでテキストに従う。
Evo2とESM3の表現で訓練された線形プローブはタスクターゲットを予測するため、これらの基礎モデルはタスクに関連する情報を符号化するが、BioReasonとBioReason-Proの全体的な性能改善は限定的である。
対照的に、基礎モデル入力はChatNT、Prot2Text-V2、CellWhispererのパフォーマンスに寄与し、遺伝子文中の差分表現された遺伝子はCell2Sentence-Scaleのパフォーマンスに寄与する。
バイオReason-Proおよび42バイオReasonチェックポイントのSFTおよびRLチェックポイント全体で、精度の向上は、生物学的入力によるパフォーマンスの寄与を示唆しない。
BioReasonはミスステートヌクレオチドの変化を辿り、BioReason-Proのトレースは、証拠衝突による最終的な予測から省略された機能を記述している。
現在のポストトレーニング戦略は,基礎モデル表現がタスクのパフォーマンスに寄与することを保証していない。
関連論文リスト
- Tool-Augmented On-Policy Distillation for LLM Domain Adaptation in Sequence-Based Omics Tasks [72.97315136048122]
マルチオミクスシーケンスの最初の推論ベンチマークであるOmicsBenchを紹介する。
予測と科学的推論の両方を評価することが重要です
ツール強化型オン・ポリケーション (TA-OPD) を導入し, シークエンス予測とエビデンス基底の生物学的推論を一致させる。
論文 参考訳(メタデータ) (2026-09-20T08:08:34Z) - ViroBench: Benchmarking Nucleotide Foundation Models on Viral Genomics Tasks [86.89727311669937]
我々は、ヌクレオチド基礎モデル(NFM)に特化して設計された最初の包括的かつ大規模ベンチマークであるViroBenchを紹介する。
ViroBench氏は、生物学的理解と潜伏するバイオセキュリティリスクという、2つの重要な側面にわたるモデルを評価し、4つのタスクタイプ内の18のさまざまなシナリオをカバーしている。
ViroBenchは、ウイルスヌクレオチド基盤モデルの研究のための解釈可能、診断的評価および再現可能な測定フレームワークを提供する。
論文 参考訳(メタデータ) (2026-05-25T03:31:46Z) - SynthPert: Enhancing LLM Biological Reasoning via Synthetic Reasoning Traces for Cellular Perturbation Prediction [3.8698178563798113]
合成推論は、部分的に不正確な場合でも生物学的知識を効果的に蒸留する。
このアプローチは、未知のRPE1細胞に対して87%の精度で、クロスセル型一般化を可能にする。
論文 参考訳(メタデータ) (2025-09-29T18:02:41Z) - BioReason: Incentivizing Multimodal Biological Reasoning within a DNA-LLM Model [12.528834366422466]
BioReasonは論理的、生物学的に一貫性のある還元物を生成することを学ぶ。
KEGGによる疾患経路予測の精度は86%から98%に向上する。
また、強いベースラインよりも平均15%の変動効果予測を改善する。
論文 参考訳(メタデータ) (2025-05-29T15:49:27Z) - GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。
DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。
また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
論文 参考訳(メタデータ) (2025-02-11T05:39:49Z) - DART-Eval: A Comprehensive DNA Language Model Evaluation Benchmark on Regulatory DNA [2.543784712990392]
大規模なゲノムDNA言語モデル(DNALM)は、多様なDNA要素の一般化可能な表現を学習することを目的としている。
本ベンチマークでは, 機能的配列の特徴探索, 細胞型特異的制御活性の予測, 遺伝的変異の影響の予測など, 生物学的に有意義な下流課題を対象としている。
論文 参考訳(メタデータ) (2024-12-06T21:23:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。