論文の概要: Fast and Low-Cost Genomic Foundation Models via Outlier Removal

• arxiv url: http://arxiv.org/abs/2505.00598v2
• Date: Fri, 02 May 2025 09:34:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 13:22:23.486647
• Title: Fast and Low-Cost Genomic Foundation Models via Outlier Removal
• Title（参考訳）: 外乱除去による高速・低コストゲノム基盤モデル
• Authors: Haozheng Luo, Chenghao Qiu, Maojiang Su, Zhihan Zhou, Zoe Mehta, Guo Ye, Jerry Yao-Chieh Hu, Han Liu,
• Abstract要約: GERMは、強い圧縮性能と高速適応性を持つゲノム基盤モデルである。 我々は,バニラアテンション層を連想記憶モデルにインスパイアされた外乱のない機構に置き換える。 GERM-Tは,アウトリアフリーフレームワーク内での連続学習を段階的に行う戦略である。
• 参考スコア（独自算出の注目度）: 6.493357255196893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To address the challenge of scarce computational resources in genomic modeling, we introduce GERM, a genomic foundation model with strong compression performance and fast adaptability. GERM improves upon models like DNABERT-2 by eliminating outliers that hinder low-rank adaptation and post-training quantization, enhancing both efficiency and robustness. We replace the vanilla attention layer with an outlier-free mechanism inspired by associative memory models. By removing outliers during both pre-training and fine-tuning, this approach accelerates adaptation, reduces computational costs, and enhances quantization robustness within acceptable loss margins. Additionally, we propose GERM-T, a strategy that employs small-step continual learning within the outlier-free framework, leveraging original checkpoints to avoid retraining from scratch. Empirically, GERM improves fine-tuning performance by 37.98% and quantization by 64.34% over the baseline model. It also reduces average kurtosis by 92.14% and maximum infinity norm by 82.77%. Compared to leading methods, GERM consistently delivers superior performance, offering a practical solution for genomic modeling in resource-constrained settings. Code is available at https://github.com/MAGICS-LAB/GERM.
• Abstract（参考訳）: ゲノミクスモデリングにおける計算資源の不足に対処するために,強い圧縮性能と高速適応性を備えたゲノミクス基盤モデルGERMを導入する。 GERMはDNABERT-2のようなモデルを改善し、低ランク適応と後トレーニングの量子化を妨げるアウトリーチを排除し、効率性と堅牢性の両方を高める。 我々は,バニラアテンション層を連想記憶モデルにインスパイアされた外乱のない機構に置き換える。 事前学習と微調整の両方でアウトリーチを除去することにより、適応を加速し、計算コストを削減し、許容される損失マージン内での量子化ロバスト性を高める。 さらに, GERM-Tを提案する。これは, ゼロから再学習を避けるために, 元のチェックポイントを活用して, アウトリアフリーのフレームワーク内で, 連続学習を段階的に行う戦略である。 実験的に、GERMは細調整性能を37.98%改善し、ベースラインモデルよりも64.34%向上した。 また、平均カルトーシスを92.14%、最大インフィニティノルムを82.77%削減する。 GERMは、先進的な手法と比較して、常に優れたパフォーマンスを提供し、リソース制約のある環境でゲノムモデリングの実践的なソリューションを提供する。 コードはhttps://github.com/MAGICS-LAB/GERMで公開されている。

関連論文リスト

• Benchmarking the Spatial Robustness of DNNs via Natural and Adversarial Localized Corruptions [49.546479320670464]
  本稿では,セグメンテーションモデルの空間的ロバスト性を評価するための特別な指標を紹介する。 本稿では,モデルロバスト性をより深く理解する手法として,地域対応型マルチアタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック分析を提案する。 その結果、モデルがこれらの2種類の脅威に異なる反応を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-02T11:37:39Z)
• Game-Theoretic Defenses for Robust Conformal Prediction Against Adversarial Attacks in Medical Imaging [12.644923600594176]
  敵対的攻撃は、ディープラーニングモデルの信頼性と安全性に重大な脅威をもたらす。 本稿では,共形予測とゲーム理論の防衛戦略を統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-07T02:20:04Z)
• MIBench: A Comprehensive Framework for Benchmarking Model Inversion Attack and Defense [42.56467639172508]
  Model Inversion (MI)攻撃は、ターゲットモデルの出力情報を活用して、プライバシに敏感なトレーニングデータを再構築することを目的としている。 我々は、モデル反転攻撃と防御の体系的評価のためのMIBenchという最初の実用的なベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-07T16:13:49Z)
• Correlation Analysis of Adversarial Attack in Time Series Classification [6.117704456424016]
  本研究では,時系列分類モデルの攻撃に対する脆弱性について検討した。 攻撃の有効性を高めるため、正規化技術とノイズ導入が示されている。 世界情報を優先するように設計されたモデルは、敵の操作に対する抵抗が大きいことが判明した。
  論文  参考訳（メタデータ） (2024-08-21T01:11:32Z)
• Robust Image Classification: Defensive Strategies against FGSM and PGD Adversarial Attacks [0.0]
  敵対的攻撃は、画像分類におけるディープラーニングモデルの堅牢性に重大な脅威をもたらす。 本稿では,ニューラルネットワークのレジリエンスを高めるために,これらの攻撃に対する防御機構を探索し,洗練する。
  論文  参考訳（メタデータ） (2024-08-20T02:00:02Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
  本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
  論文  参考訳（メタデータ） (2022-04-14T15:14:08Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。