論文の概要: BioArc: Discovering Optimal Neural Architectures for Biological Foundation Models

• arxiv url: http://arxiv.org/abs/2512.00283v1
• Date: Sat, 29 Nov 2025 02:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.148776
• Title: BioArc: Discovering Optimal Neural Architectures for Biological Foundation Models
• Title（参考訳）: BioArc: 生物基盤モデルのための最適なニューラルネットワーク
• Authors: Yi Fang, Haoran Xu, Jiaxin Han, Sirui Ding, Yizhi Wang, Yue Wang, Xuan Wang,
• Abstract要約: 基礎モデルは自然言語処理(NLP)やコンピュータビジョン(CV)といった様々な分野に革命をもたらした。 直観駆動型アーキテクチャ設計を超えて,生物基盤モデルのための原則付き自動アーキテクチャ発見へ移行する,新たなフレームワークであるBioArcを紹介する。 本研究は,生物の次世代タスク固有モデルと基礎モデルの作成を導くための基礎的資源と原則的方法論を提供する。
• 参考スコア（独自算出の注目度）: 31.218090448573776
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Foundation models have revolutionized various fields such as natural language processing (NLP) and computer vision (CV). While efforts have been made to transfer the success of the foundation models in general AI domains to biology, existing works focus on directly adopting the existing foundation model architectures from general machine learning domains without a systematic design considering the unique physicochemical and structural properties of each biological data modality. This leads to suboptimal performance, as these repurposed architectures struggle to capture the long-range dependencies, sparse information, and complex underlying ``grammars'' inherent to biological data. To address this gap, we introduce BioArc, a novel framework designed to move beyond intuition-driven architecture design towards principled, automated architecture discovery for biological foundation models. Leveraging Neural Architecture Search (NAS), BioArc systematically explores a vast architecture design space, evaluating architectures across multiple biological modalities while rigorously analyzing the interplay between architecture, tokenization, and training strategies. This large-scale analysis identifies novel, high-performance architectures, allowing us to distill a set of empirical design principles to guide future model development. Furthermore, to make the best of this set of discovered principled architectures, we propose and compare several architecture prediction methods that effectively and efficiently predict optimal architectures for new biological tasks. Overall, our work provides a foundational resource and a principled methodology to guide the creation of the next generation of task-specific and foundation models for biology.
• Abstract（参考訳）: 基礎モデルは自然言語処理(NLP)やコンピュータビジョン(CV)といった様々な分野に革命をもたらした。 一般のAI領域における基礎モデルの成功を生物学に移管する努力は行われているが、既存の基礎モデルアーキテクチャを一般的な機械学習領域から直接採用することに焦点が当てられている。 これらの再利用されたアーキテクチャは、長い範囲の依存関係、スパース情報、そして生物学的データに固有の'`grammars''の複雑な基盤を捉えるのに苦労する。 このギャップに対処するために、我々は直観駆動アーキテクチャ設計を超えて、生物学的基盤モデルのための原則付き自動アーキテクチャ発見に移行するように設計された新しいフレームワークであるBioArcを紹介します。 ニューラルネットワーク検索(NAS)を活用して、BioArcは、アーキテクチャ、トークン化、トレーニング戦略間の相互作用を厳格に分析しながら、複数の生物学的モダリティにわたるアーキテクチャを評価しながら、広大なアーキテクチャ設計空間を体系的に探求する。 この大規模分析は、新しい高性能アーキテクチャを識別し、将来のモデル開発を導くための経験的設計原則の集合を蒸留することができる。 さらに,この一連の原理的アーキテクチャを最大限に活用するために,新しい生物タスクに最適なアーキテクチャを効果的かつ効率的に予測するアーキテクチャ予測手法を提案し,比較する。 全体として、我々の研究は、生物のための次世代のタスク特化モデルと基礎モデルの作成を導くための基礎的資源と原則的方法論を提供する。

関連論文リスト

• Copresheaf Topological Neural Networks: A Generalized Deep Learning Framework [16.903981913294103]
  共振器トポロジカルニューラルネットワーク(CTNN)を導入する CTNNは、幅広いディープラーニングアーキテクチャをカプセル化する強力な統一フレームワークである。 我々は,CTNNが階層的あるいは局所的な感度を必要とするタスクにおいて,従来のベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:28:50Z)
• A Survey of Model Architectures in Information Retrieval [59.61734783818073]
  2019年から現在までの期間は、情報検索(IR)と自然言語処理(NLP)における最大のパラダイムシフトの1つとなっている。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 今後の課題と今後の方向性について、先見的な議論で締めくくります。
  論文  参考訳（メタデータ） (2025-02-20T18:42:58Z)
• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [20.209756662832365]
  微分可能なニューラルアーキテクチャサーチ(DARTS)は、高い探索効率でアーキテクチャ設計のマニュアルプロセスを自動化する。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。 EM-DARTSは、最先端の認識性能につながる最適なアーキテクチャを実現できることを示す。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision [51.88848982611515]
  教師なしグラフニューラルアーキテクチャサーチは、文献では未発見のままである。 本稿では,Distangled Self-supervised Graph Neural Architecture Searchモデルを提案する。 我々のモデルは、教師なしの方法で、いくつかのベースライン手法に対して最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-03-08T05:23:55Z)
• Automated Fusion of Multimodal Electronic Health Records for Better Medical Predictions [48.0590120095748]
  本稿では,多様な入力モダリティと融合戦略を符号化する最適なモデルアーキテクチャを自動検索する,AutoFMという新しいニューラルネットワーク探索フレームワークを提案する。 我々は実世界のマルチモーダルEHRデータと予測タスクについて徹底的な実験を行い、その結果、我々のフレームワークが既存の最先端手法よりも大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-20T15:14:14Z)
• Neural Architecture Search based on Cartesian Genetic Programming Coding Method [6.519170476143571]
  文分類課題を解決するために,CGPに基づくNASの進化的アプローチであるCGPNASを提案する。 実験の結果,検索されたアーキテクチャは人間設計アーキテクチャの性能に匹敵することがわかった。
  論文  参考訳（メタデータ） (2021-03-12T09:51:03Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。