論文の概要: GENEB: Why Genomic Models Are Hard to Compare
- arxiv url: http://arxiv.org/abs/2606.04525v1
- Date: Wed, 03 Jun 2026 07:06:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.597479
- Title: GENEB: Why Genomic Models Are Hard to Compare
- Title（参考訳）: genEB:なぜゲノムモデルを比較するのが難しいのか
- Authors: Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov,
- Abstract要約: 我々は、100タスクにわたる40のゲノム基盤モデルから凍結表現を評価する大規模な診断ベンチマークであるGENEBを紹介する。
genEBは,タスクレベルのトレードオフを明確に示しながら,モデルスケール,アーキテクチャ,トークン化,事前学習データ間の比較を制御可能であることを示す。
これらの結果から,ゲノミクス学習における概念比較とカテゴリー認識モデル選択の基準フレームワークとして,現在の評価実践の限界とgenEBの位置が強調された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Progress in genomic foundation models is difficult to assess due to fragmented benchmarks, incompatible evaluation protocols, and task-specific reporting. As a result, claims of superiority or generality across models are often not directly comparable. We introduce GENEB, a large-scale diagnostic benchmark that evaluates frozen representations from 40 genomic foundation models across 100 tasks spanning 13 functional categories under a unified probing-based protocol, including few-shot regimes. GENEB enables controlled comparison across model scale, architecture, tokenization, and pretraining data while explicitly exposing task-level trade-offs. Our analysis shows that aggregate leaderboards are unstable: model rankings vary sharply across task categories, scale provides only modest and inconsistent gains, and architectural and pretraining alignment frequently outweigh parameter count. These results highlight limitations of current evaluation practices and position GENEB as a reference framework for principled comparison and category-aware model selection in genomic machine learning.
- Abstract（参考訳）: ゲノム基盤モデルの進歩は、断片化されたベンチマーク、互換性のない評価プロトコル、タスク固有の報告のために評価することが難しい。
結果として、モデル間の優越性や一般性の主張は直接的に比較されないことが多い。
我々は、13の機能カテゴリにまたがる100のタスクにまたがる40のゲノム基盤モデルの凍結表現を、数発のレギュレーションを含む統一されたプロブリングベースのプロトコルで評価する大規模な診断ベンチマークであるGENEBを紹介する。
genEBは、モデルスケール、アーキテクチャ、トークン化、事前トレーニングデータ間の制御された比較を可能にし、タスクレベルのトレードオフを明示する。
モデルランキングはタスクカテゴリによって大きく異なり、スケールは緩やかな利得と一貫性のない利得しか得られず、アーキテクチャや事前学習のアライメントはパラメータ数を上回ることが多い。
これらの結果から,ゲノミクス学習における概念比較とカテゴリー認識モデル選択の基準フレームワークとして,現在の評価実践の限界とgenEBの位置が強調された。
関連論文リスト
- IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。
各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。
IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
論文 参考訳（メタデータ） (2026-03-05T02:21:17Z) - EEG Foundation Models: Progresses, Benchmarking, and Open Problems [10.447009984769819]
我々は、50の代表的なEEG基盤モデルをレビューし、その設計選択を統合された分類学的枠組みにまとめる。
9つのBCIパラダイムにまたがる13のEEGデータセットに対して、12のオープンソースファンデーションモデルと、競合するスペシャリストベースラインを評価します。
論文 参考訳（メタデータ） (2026-01-25T15:28:50Z) - PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [8.785345412061792]
摂動に対する単一細胞転写応答をモデル化するための包括的枠組みを提案する。
私たちのアプローチには、モジュラーでユーザフレンドリなモデル開発と評価プラットフォームが含まれています。
モード崩壊など、広く使われているモデルの限界を強調します。
論文 参考訳（メタデータ） (2024-08-20T07:40:20Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - Towards Weakly-Supervised Hate Speech Classification Across Datasets [47.101942709219784]
そこで本研究では,テキスト分類モデルの有効性について検討した。
また,HS分類モデルの一般化性の低さの原因について,詳細な定量的,定性的な分析を行った。
論文 参考訳（メタデータ） (2023-05-04T08:15:40Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳（メタデータ） (2020-05-06T01:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。