論文の概要: BarcodeMAE+: Rethinking Masked Pretraining and Global Representations for DNA Barcode Foundation Models

• arxiv url: http://arxiv.org/abs/2609.35877v1
• Date: Sat, 26 Sep 2026 22:15:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.87482
• Title: BarcodeMAE+: Rethinking Masked Pretraining and Global Representations for DNA Barcode Foundation Models
• Title（参考訳）: BarcodeMAE+: DNAバーコード基盤モデルのためのマスク付き事前学習とグローバル表現の再考
• Abstract要約: 多くのDNA基盤モデルは、配列の一部をマスキングし、モデルを再構築するよう要求することで事前訓練される。 標準的なマスク付き事前トレーニングは、推論時に欠落している特別な[MASK]トークンにエンコーダを公開する。 本稿では,BarcodeMAE+とモデルアーキテクチャ,グローバル[MASK]表現,補助事前学習目標について紹介する。
• 参考スコア（独自算出の注目度）: 17.962584820886104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many DNA foundation models are pretrained by masking parts of a sequence and asking the model to reconstruct them. Standard masked pretraining exposes the encoder to special [MASK] tokens that are absent at inference, creating a mismatch between training and downstream use. The role of an explicit global sequence representation such as a [CLS] token and how it should be trained also remain poorly understood for DNA barcodes. We introduce BarcodeMAE+ and study model architecture, global [CLS] representation, and auxiliary pretraining objectives across arthropod COI (BIOSCAN-5M) and fungal ITS (UNITE+INSD) barcodes. Across both barcode regions, the encoder-decoder MAE-LM architecture outperforms its matched encoder-only counterpart in nearly all evaluated configurations, supporting MAE-LM as an effective architectural design for DNA barcode foundation models. A trained global [CLS] representation provides substantial additional gains: on BIOSCAN-5M, [CLS] accuracy increases from 47.53% without an auxiliary objective to 80.65% with cross-entropy genus classification. The best auxiliary objective is region-dependent: cross-entropy performs best on BIOSCAN-5M, whereas pairwise same-genus classification performs best on UNITE+INSD, reaching 73.19% on Yeast and 63.07% on Filamentous Fungi. BarcodeMAE+ outperforms published DNA foundation model baselines on BIOSCAN-5M and achieves the highest Yeast accuracy among the evaluated UNITE+INSD baselines using frozen encoder representations. Similarity-weighted softmax KNN voting further stabilizes accuracy as neighbourhood size increases. Overall, encoder-decoder masked pretraining and an explicitly trained global representation are strong design choices for DNA barcode foundation models, while the optimal objective for learning that representation depends on the biological domain.
• Abstract（参考訳）: 多くのDNA基盤モデルは、配列の一部をマスキングし、モデルを再構築するよう要求することで事前訓練される。 標準的なマスク付き事前トレーニングは、推論時に欠落している特別な[MASK]トークンにエンコーダを公開し、トレーニングと下流使用のミスマッチを生成する。 CLSトークンのような明示的なグローバルなシーケンス表現の役割と、そのトレーニング方法もまた、DNAバーコードではよく理解されていないままである。 本稿では,BarcodeMAE+とモデルアーキテクチャ,グローバル (CLS) 表現,および節足動物COI (BIOSCAN-5M) および真菌類 ITS (UNITE+INSD) バーコード間の補助事前訓練目標について紹介する。 両バーコード領域にわたって、エンコーダ-デコーダMAE-LMアーキテクチャは、ほぼすべての評価済み構成において、一致したエンコーダのみのアーキテクチャよりも優れており、DNAバーコード基盤モデルの効果的なアーキテクチャ設計としてMAE-LMをサポートしている。 BIOSCAN-5Mでは、[CLS]の精度は補助目標なしで47.53%から80.65%まで上昇し、クロスエントロピー属に分類される。 クロスエントロピーはBIOSCAN-5Mで最高、対の同種分類はUNITE+INSDで最高、酵母では73.19%、フィラメント系菌では63.07%である。 BarcodeMAE+は、BIOSCAN-5Mに基づくDNA基盤モデルベースラインを上回り、凍結エンコーダ表現を用いて評価されたUNITE+INSDベースラインの中で最も高い酵母精度を達成する。 類似度重み付きソフトマックスKNN投票は、近隣サイズが大きくなるにつれて精度をさらに安定化させる。 全体として、エンコーダとデコーダのマスクによる事前訓練と明示的に訓練されたグローバル表現は、DNAバーコード基盤モデルの強力な設計選択であり、表現が生物学的ドメインに依存していることを学習するための最適な目的である。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Predict and Reconstruct: Joint Objectives for Self-Supervised Language Representation Learning [0.0]
  Masked Language Modelling (MLM) は BERT 以降,テキストエンコーダの事前学習の主流となっている。 視覚とオーディオにおけるJEPA(Joint Embedding Predictive Architectures)の成功に触発されて,我々はハイブリッドな目的を提案する。 我々は、同じアーキテクチャと計算予算を用いて、ハイブリッドモデルと純粋MLMベースラインの両方を英語ウィキペディアで事前訓練する。
  論文  参考訳（メタデータ） (2026-04-16T22:26:47Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• Decoder-Hybrid-Decoder Architecture for Efficient Reasoning with Long Generation [108.0657508755532]
  我々は、レイヤ間の効率的なメモリ共有のためのシンプルで効果的なメカニズムであるGated Memory Unit(GMU)を紹介した。 これは、GMUを組み込んでSambaベースのセルフデコーダからメモリ読み出し状態を共有するデコーダ・ハイブリッド・デコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2025-07-09T07:27:00Z)
• Enhancing DNA Foundation Models to Address Masking Inefficiencies [18.54660252939211]
  マスク付きオートエンコーダフレームワークをベースとした改良型エンコーダデコーダアーキテクチャを提案する。 我々は,BIOSCAN-5Mデータセットに対するアプローチを,200万以上のユニークなDNAバーコードから評価した。
  論文  参考訳（メタデータ） (2025-02-25T17:56:25Z)
• BIOSCAN-5M: A Multimodal Dataset for Insect Biodiversity [19.003642885871546]
  BIOSCAN-5Mは、500万以上の昆虫の標本のマルチモーダル情報を含む包括的データセットである。 マルチモーダルデータ型が分類とクラスタリングの精度に与える影響を示すための3つのベンチマーク実験を提案する。
  論文  参考訳（メタデータ） (2024-06-18T15:45:21Z)
• SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
  本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
  論文  参考訳（メタデータ） (2022-07-31T15:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。