論文の概要: StructuredDNA: A Bio-Physical Framework for Energy-Aware Transformer Routing

• arxiv url: http://arxiv.org/abs/2512.08968v1
• Date: Mon, 01 Dec 2025 21:34:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.233194
• Title: StructuredDNA: A Bio-Physical Framework for Energy-Aware Transformer Routing
• Title（参考訳）: StructuredDNA:エネルギーを意識したトランスフォーマールーティングのためのバイオ物理フレームワーク
• Authors: Mustapha Hamdi,
• Abstract要約: 本稿では,モジュール型でエネルギーを意識したTransformerルーティングのためのスパースアーキテクチャであるStructuredDNAを紹介する。 WikiText-103のセマンティックスケーリング法を実証し、アーキテクチャが専門家の粒度をスケーリングすることで、オープンドメインに一般化することを示した。 この概念実証研究の限界について議論し、より大きなモデル、データセット、ハードウェアプラットフォームへのアプローチをスケールするための方向性を概説する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid scaling of large computational models has led to a critical increase in energy and compute costs. Inspired by biological systems where structure and function emerge from low-energy configurations, we introduce StructuredDNA, a sparse architecture framework for modular, energy-aware Transformer routing. StructuredDNA replaces dense Mixture-of-Experts routing with a bio-physical, energy-guided routing layer based on semantic energy minimization. Inputs are dynamically grouped into semantic codons, and routing selects a single expert by minimizing a global energy functional that combines cohesion, uncertainty, and computational cost. We validate StructuredDNA on both specialized (BioASQ) and open-domain benchmarks (WikiText-103). On BioASQ (K = 50), we achieve a 97.7% reduction in Energy Utilization Density (EUD) and a Semantic Stability Index (SSI) of 0.998. We further demonstrate a Semantic Scaling Law on WikiText-103, showing that the architecture generalizes to open domains by scaling expert granularity (K = 2048) while maintaining more than 99% energy efficiency. StructuredDNA thus establishes a robust, domain-agnostic paradigm for future sparse computational frameworks. StructuredDNA provides an explicit link between bio-physical principles and sparse expert routing in Transformer architectures, and points toward future energy-aware, modular, and scalable computational systems. We discuss limitations of this proof-of-concept study and outline directions for scaling the approach to larger models, datasets, and hardware platforms. The StructuredDNA implementation is available at https://github.com/InnoDeep-repos/StructuredDNA .
• Abstract（参考訳）: 大規模計算モデルの急速なスケーリングは、エネルギーと計算コストの大幅な増加につながった。 低エネルギー構成から構造と関数が現れる生体システムに着想を得て、モジュール式でエネルギーを意識したトランスフォーマールーティングのためのスパースアーキテクチャであるStructuredDNAを導入した。 StructuredDNAは、高密度なMixture-of-Expertsルーティングを、セマンティックエネルギーの最小化に基づいて、バイオ物理でエネルギーを誘導するルーティング層に置き換える。 入力は動的にセマンティックコドンにグループ化され、ルーティングは凝集、不確実性、計算コストを組み合わせた大域的エネルギー関数を最小化することによって、単一の専門家を選択する。 我々は,特殊な (BioASQ) とオープンベンチマーク (WikiText-103) でStructuredDNAを検証した。 バイオASQ(K = 50)では、エネルギー利用密度(EUD)が97.7%減少し、セマンティック安定性指数(SSI)が0.998。 さらに,WikiText-103のセマンティックスケーリング法を実証し,エキスパートの粒度(K = 2048)をスケーリングし,99%以上のエネルギー効率を維持しながら,オープンドメインに一般化することを示した。 構造DNAは、将来のスパース計算フレームワークのための堅牢でドメインに依存しないパラダイムを確立する。 StructuredDNAは、トランスフォーマーアーキテクチャにおける生物物理学の原理とスパース専門家のルーティングとの明確なリンクを提供し、将来のエネルギーを意識し、モジュール化し、スケーラブルな計算システムを指す。 この概念実証研究の限界について議論し、より大きなモデル、データセット、ハードウェアプラットフォームへのアプローチをスケールするための方向性を概説する。 StructuredDNAの実装はhttps://github.com/InnoDeep-repos/StructuredDNAで公開されている。

関連論文リスト

• Neuro-inspired Ensemble-to-Ensemble Communication Primitives for Sparse and Efficient ANNs [0.0]
  G2GNetは、フィードフォワード層にまたがるスパースでモジュラーな接続を強制する新しいアーキテクチャである。 G2GNetの精度は最大75%まで向上し、ベンチマークでは最大4.3%向上した。
  論文  参考訳（メタデータ） (2025-08-19T13:51:33Z)
• CodonMoE: DNA Language Models for mRNA Analyses [4.046100165562807]
  ゲノム言語モデル (gLMs) は、生物学的モダリティ(DNAとRNA)ごとに別々の特殊モデルを維持するか、大規模なマルチモーダルアーキテクチャを開発するかという、基本的な効率上の課題に直面している。 我々は、DNA言語モデルをRNA固有の事前学習なしで効果的なRNAアナライザに変換する軽量なアダプタであるCodonMoEを紹介した。 我々のアプローチは、ゲノム言語モデリングを統一し、より豊富なDNAデータを活用し、計算オーバーヘッドを減らすための原則化された経路を提供する。
  論文  参考訳（メタデータ） (2025-08-06T01:40:12Z)
• DNAD: Differentiable Neural Architecture Distillation [6.026956571669411]
  識別可能なニューラルアーキテクチャ蒸留(DNAD)アルゴリズムは、2つのコアに基づいて開発されている。 DNADは6.0Mパラメータと598M FLOPのモデルで、ImageNet分類でトップ-1エラー率23.7%を達成した。 微分可能なアーキテクチャ探索(DARTS)の枠組みに基づくSNPSアルゴリズムの開発
  論文  参考訳（メタデータ） (2025-04-25T08:49:31Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。 DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。 また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• A Transformer Based Generative Chemical Language AI Model for Structural Elucidation of Organic Compounds [1.5628118690186594]
  本稿では,概念変換器を用いた生成化学言語人工知能(AI)モデルを提案する。 我々のモデルはエンコーダ・デコーダアーキテクチャと自己保持機構を用いて、最も可能性の高い化学構造を直接生成する。 現代のCPUでは、29個の原子を持つ分子をわずか数秒で構造解明し、83%の精度でトップ15を達成している。
  論文  参考訳（メタデータ） (2024-10-13T15:41:20Z)
• SemAI: Semantic Artificial Intelligence-enhanced DNA storage for Internet-of-Things [9.858497777817522]
  本稿では,Semantic Artificial Intelligence-enhanced DNA Storage(SemAI-DNA)パラダイムを紹介する。 数値的な結果から,SemAI-DNAの有効性が示され,従来の深層学習アプローチよりも2.61dBピーク信号-雑音比(PSNR)が向上し,構造類似度指数(SSIM)が0.13改善した。
  論文  参考訳（メタデータ） (2024-09-18T12:21:58Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。