論文の概要: A Standardized Framework For Evaluating Gene Expression Generative Models
- arxiv url: http://arxiv.org/abs/2603.11244v1
- Date: Wed, 11 Mar 2026 19:11:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:25.604528
- Title: A Standardized Framework For Evaluating Gene Expression Generative Models
- Title(参考訳): 遺伝子発現生成モデル評価のための標準化されたフレームワーク
- Abstract要約: 我々は、遺伝子発現評価のためのオープンソースのPythonフレームワーク、Generated Genetic Expression Evaluator (GGE)を提案する。
GGEは、明示的な非互換性空間オプションと生物学的動機付け評価を備えた、分布メトリクスの包括的なスイートを提供する。
我々は,基準値が実装の選択によって大きく異なることを示し,標準化の必要性を強調した。
- 参考スコア(独自算出の注目度): 10.821695212569118
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid development of generative models for single-cell gene expression data has created an urgent need for standardised evaluation frameworks. Current evaluation practices suffer from inconsistent metric implementations, incomparable hyperparameter choices, and a lack of biologically-grounded metrics. We present Generated Genetic Expression Evaluator (GGE), an open-source Python framework that addresses these challenges by providing a comprehensive suite of distributional metrics with explicit computation space options and biologically-motivated evaluation through differentially expressed gene (DEG)-focused analysis and perturbation-effect correlation, enabling standardized reporting and reproducible benchmarking. Through extensive analysis of the single-cell generative modeling literature, we identify that no standardized evaluation protocol exists. Methods report incomparable metrics computed in different spaces with different hyperparameters. We demonstrate that metric values vary substantially depending on implementation choices, highlighting the critical need for standardization. GGE enables fair comparison across generative approaches and accelerates progress in perturbation response prediction, cellular identity modeling, and counterfactual inference.
- Abstract(参考訳): 単一細胞遺伝子発現データの生成モデルの急速な発展は、標準化された評価フレームワークに対する緊急の必要性を生み出している。
現在の評価プラクティスは、一貫性のないメートル法の実装、互換性のないハイパーパラメータの選択、生物学的に接地されたメトリクスの欠如に悩まされている。
我々は、これらの課題に対処するオープンソースのPythonフレームワークであるGenerated Genetic Expression Evaluator (GGE)を紹介し、明示的な計算空間オプションを備えた分散メトリクスの包括的スイートと、差分表現された遺伝子(DEG)に着目した解析と摂動効果の相関による生物学的に動機付けられた評価を提供することにより、標準化されたレポートと再現可能なベンチマークを可能にする。
単一セル生成モデリング文献の広範な解析により、標準化された評価プロトコルは存在しないことが判明した。
メソッドは、異なるハイパーパラメータを持つ異なる空間で計算された計算不可能なメトリクスを報告します。
我々は,基準値が実装の選択によって大きく異なることを示し,標準化の必要性を強調した。
GGEは、生成的アプローチ間で公正な比較を可能にし、摂動応答予測、セルアイデンティティモデリング、および反事実推論の進展を加速する。
関連論文リスト
- Generation-Powered Inference for Distribution-Valued Outcomes [0.40105987447353786]
ジェネレーション・パワード・推論(GPI)は、補助生成モデルを用いて分布値パラメータの推論を改善するための一般的なフレームワークである。
我々は,線形汎関数とワッサーシュタイン距離の最適情報借用,一貫性,有効推論が可能なGPI推定器群を開発した。
そこでは,40Sリボソームモジュールの摂動に伴う経路レベルのコンセンサス遺伝子発現分布の推論を改善するために,ステートファンデーションモデルにより生成された合成摂動応答を用いて,K562細胞の摂動解析を行った。
論文 参考訳(メタデータ) (2026-08-14T17:55:48Z) - Influence-Guided Symbolic Regression: Scientific Discovery via LLM-Driven Equation Search with Granular Feedback [56.69850045068714]
逐次的2段階プロセスとして方程式発見をフレーム化する方法である textitInfluence-Guided Regression (IGSR) を導入する。
LLM-SRBench, 薬理学的PKPDモデル, 疫学シミュレーション, 実世界のゲノムデータなど, IGSRの有効性を示す。
論文 参考訳(メタデータ) (2026-05-27T23:48:01Z) - A Theoretical Framework for Statistical Evaluability of Generative Models [57.9316356505791]
本稿では、生成モデルを評価するための理論的枠組みを導入し、一般的なメトリクスに対する評価結果を確立する。
テストベースのメトリクス、例えば積分確率測定(IPM)とレニイ発散(Rényi divergences)の2つのカテゴリについて検討する。
任意の有界テストクラスに対するIPMは、乗法および加法近似誤差まで有限標本から評価できることを示す。
対照的に、レニイとKLの発散は、希少事象によってその値が批判的に決定されるため、有限標本から評価できない。
論文 参考訳(メタデータ) (2026-04-07T01:53:59Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳(メタデータ) (2024-06-01T08:01:05Z) - Toward the Identifiability of Comparative Deep Generative Models [7.5479347719819865]
比較深部生成モデル(DGM)における識別可能性の理論を提案する。
これらのモデルは、一般的な混合関数のクラスにおいて識別性に欠けるが、混合関数が断片的アフィンであるときに驚くほど識別可能であることを示す。
また, モデルミス種別の影響についても検討し, 従来提案されていた比較DGMの正則化手法が, 潜伏変数の数が事前に分かっていない場合に, 識別可能性を高めることを実証的に示す。
論文 参考訳(メタデータ) (2024-01-29T06:10:54Z) - Nonlinear Permuted Granger Causality [0.6526824510982799]
グランガー因果推論(Granger causal inference)は、経済学から神経科学まで幅広い分野において用いられる、論争的だが広範な手法である。
サンプル外比較を可能にするために、共変集合の置換を用いて関数接続の尺度を明示的に定義する。
変分法の性能を, シミュレーションによる変分選択, ナイーブ置換, 省略技術と比較した。
論文 参考訳(メタデータ) (2023-08-11T16:44:16Z) - Learning Evaluation Models from Large Language Models for Sequence Generation [61.8421748792555]
本稿では,大規模言語モデルを用いた3段階評価モデルトレーニング手法を提案する。
SummEval ベンチマークによる実験結果から,CSEM は人間ラベルデータなしで評価モデルを効果的に訓練できることが示された。
論文 参考訳(メタデータ) (2023-08-08T16:41:16Z) - MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。
我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。
我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
論文 参考訳(メタデータ) (2022-12-30T07:37:40Z) - CTRLEval: An Unsupervised Reference-Free Metric for Evaluating
Controlled Text Generation [85.03709740727867]
制御されたテキスト生成モデルを評価するために,教師なし参照自由度であるEvalを提案する。
Evalは、事前訓練された言語モデルから生成確率をモデルトレーニングなしで組み立てる。
実験の結果,我々の測定値は他の基準値よりも人間の判断と高い相関関係があることが判明した。
論文 参考訳(メタデータ) (2022-04-02T13:42:49Z) - Generalization Metrics for Practical Quantum Advantage in Generative
Models [68.8204255655161]
生成モデリングは量子コンピュータにとって広く受け入れられている自然のユースケースである。
我々は,アルゴリズムの一般化性能を計測して,生成モデリングのための実用的な量子優位性を探索する,単純で曖昧な手法を構築した。
シミュレーションの結果、我々の量子にインスパイアされたモデルは、目に見えない、有効なサンプルを生成するのに、最大で68倍の費用がかかります。
論文 参考訳(メタデータ) (2022-01-21T16:35:35Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳(メタデータ) (2021-02-17T18:25:30Z) - On Restricting Real-Valued Genotypes in Evolutionary Algorithms [1.290382979353427]
本稿では、実際のゲノムのパラメータの制限と、これらの値を適切に制限する最も有望な方法の分析について述べる。
提案手法は進化アルゴリズムの実践者による最小限の介入が必要であり、変動演算子の繰り返し適用下では良好に振る舞う。
論文 参考訳(メタデータ) (2020-05-19T11:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。