論文の概要: A Pitfall in the Evaluation of Gene Perturbation Models

• arxiv url: http://arxiv.org/abs/2610.26267v1
• Date: Mon, 19 Oct 2026 12:24:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 18:37:05.935083
• Title: A Pitfall in the Evaluation of Gene Perturbation Models
• Title（参考訳）: 遺伝子摂動モデルの評価における落とし穴
• Abstract要約: 上位D遺伝子の数を変えると、精度に基づくランキングにおいてかなりの不安定性が明らかになる。 セルレベルの行にまたがって予測された1つの表現プロファイルを繰り返すと、重要な推定値が増大する。 我々は、再現された予測が標準化されたマン-ホイットニー統計を増幅できることを示すインフレーション係数を導出する。
• 参考スコア（独自算出の注目度）: 13.6028295958495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gene perturbation models aim to predict transcriptional responses to unseen genetic interventions, but comparisons rely on heterogeneous evaluation metrics and differentially-expressed (DE) gene subsets. We investigate the consequences of these choices using eight methods across six single-gene perturbation datasets under a unified evaluation protocol. Varying the number of top DE genes reveals substantial instability in Precision-based rankings, with the winning method changing $86.7\%$ of the time, while rankings based on the rest of the metrics remain comparatively stable. Investigating this discrepancy exposes that repeating a single predicted expression profile across cell-level rows, a standard practice for many methods, can inflate significance estimates and produce excessively large predicted significant-DE sets. Specifically we found that $67.1\%$ of tested perturbation--gene pairs pass the significance threshold despite some of them having minuscule effects. We derive an inflation factor showing that replicated predictions can amplify the standardized Mann--Whitney statistic even after correction for tied ranks, without adding independent information. This artifact changes Precision mainly as the number of DE genes increases because for smaller cutoffs, most of the genes are already significant due to the effect-based ordering. Taking this pitfall into account in our benchmark comparison, we find that a random forest using Gene Ontology features achieves the best overall results.
• Abstract（参考訳）: 遺伝子摂動モデルは、未知の遺伝的介入に対する転写応答を予測することを目的としているが、比較は異種評価指標と差分表現(DE)遺伝子サブセットに依存している。 統合評価プロトコルを用いて,6つの単一遺伝子摂動データセットに対して8つの手法を用いて,これらの選択の結果について検討する。 上位D遺伝子の数を変えると、精度に基づくランキングにおいてかなりの不安定性が示され、勝利の方法は86.7 %$に変化し、残りの指標に基づくランキングは比較的安定している。 この違いを調べると、セルレベルの行にまたがる単一の予測された表現プロファイルを繰り返すことは、多くのメソッドの標準プラクティスであり、重要な見積をインフレさせ、過大に大きな予測された有意なDEセットを生成することができることが明らかになる。 具体的には、7.1 % の摂動-遺伝子対が、極小効果があるにもかかわらず、有意な閾値を突破することを発見した。我々は、複製された予測が、独立した情報を加えることなく、縛られたランクを補正した後でも、標準化されたマン・ホイットニー統計を増幅できることを示すインフレーション因子を導出した。 このアーティファクトは、主にDE遺伝子の数が増加するにつれて精度を変化させるが、それは、より小さなカットオフのために、ほとんどの遺伝子が効果に基づく順序付けのために既に重要であるためである。 この落とし穴をベンチマーク比較で考慮すると、Gene Ontology機能を使用したランダムな森林が、最もよい結果をもたらすことが分かる。

関連論文リスト

• Do Perturbation Predictors Learn Gene Interactions? Diagnosing Extrapolation in Agentic Screening [0.0]
  高スループットの摂動スクリーンでは、計測されなかった遺伝子の組み合わせの効果を予測するために、機械学習モデルの利用が増えている。 この設定では、標準的なOODメソッドはしばしば失敗する。 それぞれのモデル予測を、観測された2つの単遺伝子効果をまとめた単純な加算予測と比較する。
  論文  参考訳（メタデータ） (2026-10-01T02:29:02Z)
• Stable-Shift: Biologically Structured Prediction of Transcriptional Responses to Unseen Gene Perturbations [8.089217380596391]
  安定シフト (Stable-Shift) は、未知の遺伝子応答を推定する構造的手法である。 システムはSTRINGインタラクション、ネットワーク構造、制御セル表現統計、遺伝子オントロジーアノテーションを組み合わせる。 平均コサイン類似度は0.589+/-0.008であった。
  論文  参考訳（メタデータ） (2026-06-22T19:48:07Z)
• Plausibility Is Not Prediction: Contrastive Evidence for LLM-Based Cellular Perturbation Reasoning [27.902219493068824]
  摂動実験は細胞機構の理解の中心である。 それらは高価で疎いままであり、保存されていない状態に対する遺伝子発現応答の予測を動機付けている。 証拠を関連摂動から肯定的・否定的な結果に整理することで,予測を比較課題として再編成するCOREを導入する。
  論文  参考訳（メタデータ） (2026-05-31T06:13:26Z)
• Unlasting: Unpaired Single-Cell Multi-Perturbation Estimation by Dual Conditional Diffusion Implicit Bridges [68.98973318553983]
  本稿では,Dual Diffusion Implicit Bridges (DDIB) に基づくフレームワークを提案する。 我々は、生物学的に意味のある方法で摂動シグナルを伝達するために遺伝子制御ネットワーク(GRN)情報を統合する。 また、サイレント遺伝子を予測し、生成したプロファイルの品質を向上させるためのマスキング機構も組み込んだ。
  論文  参考訳（メタデータ） (2025-06-26T09:05:38Z)
• Predicting loss-of-function impact of genetic mutations: a machine learning approach [0.0]
  本稿では,遺伝子変異の属性に基づいて機械学習モデルを学習し,LoFtoolスコアを予測することを目的とする。 これらの属性には、染色体上の突然変異の位置、アミノ酸の変化、変異によって引き起こされるコドンの変化が含まれていた。 モデルは, 平均2乗誤差, 平均2乗誤差, 平均2乗誤差, 平均絶対誤差, 説明分散の5倍のクロスバリデード平均を用いて評価した。
  論文  参考訳（メタデータ） (2024-01-26T19:27:38Z)
• Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
  高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。 本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
  論文  参考訳（メタデータ） (2023-09-15T22:06:29Z)
• Redundancy-aware unsupervised ranking based on game theory -- application to gene enrichment analysis [0.28675177318965034]
  シングルトンの分布とそのサイズに基づいて,集合の族内の集合をランク付けする手法を提案する。 本研究は, 遺伝子集合コレクションに対するアプローチの評価であり, 得られたランクは, 冗長性が低く, 高いカバレッジを示す。
  論文  参考訳（メタデータ） (2022-07-22T08:57:08Z)
• rfPhen2Gen: A machine learning based association study of brain imaging phenotypes to genotypes [71.1144397510333]
  56個の脳画像QTを用いてSNPを予測する機械学習モデルを学習した。 アルツハイマー病(AD)リスク遺伝子APOEのSNPは、ラスソとランダムな森林に対して最低のRMSEを有していた。 ランダム・フォレストは、線形モデルによって優先順位付けされなかったが、脳関連疾患と関連があることが知られている追加のSNPを特定した。
  論文  参考訳（メタデータ） (2022-03-31T20:15:22Z)
• Variance Minimization in the Wasserstein Space for Invariant Causal Prediction [72.13445677280792]
  そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。 これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。 我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2021-10-13T22:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。