論文の概要: A Boltzmann-machine-enhanced Transformer For DNA Sequence Classification
- arxiv url: http://arxiv.org/abs/2603.26465v1
- Date: Fri, 27 Mar 2026 14:32:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-30 21:49:48.541677
- Title: A Boltzmann-machine-enhanced Transformer For DNA Sequence Classification
- Title（参考訳）: DNA配列分類のためのボルツマン機械エンハンストランス
- Authors: Zhixuan Cao, Yishu Xu, Xuang WU,
- Abstract要約: DNA配列分類のためのボルツマン機械エンハンストランスを提案する。
このモデルは、遅延接続を表すために構造化されたバイナリゲーティング変数を導入し、クエリキー接続で制約する。
トレーニング中、分類とエネルギー損失を共同で最適化し、正確な予測を行うようモデルに促す。
- 参考スコア（独自算出の注目度）: 0.8711791966428426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: DNA sequence classification requires not only high predictive accuracy but also the ability to uncover latent site interactions, combinatorial regulation, and epistasis-like higher-order dependencies. Although the standard Transformer provides strong global modeling capacity, its softmax attention is continuous, dense, and weakly constrained, making it better suited for information routing than explicit structure discovery. In this paper, we propose a Boltzmann-machine-enhanced Transformer for DNA sequence classification. Built on multi-head attention, the model introduces structured binary gating variables to represent latent query-key connections and constrains them with a Boltzmann-style energy function. Query-key similarity defines local bias terms, learnable pairwise interactions capture synergy and competition between edges, and latent hidden units model higher-order combinatorial dependencies. Since exact posterior inference over discrete gating graphs is intractable, we use mean-field variational inference to estimate edge activation probabilities and combine it with Gumbel-Softmax to progressively compress continuous probabilities into near-discrete gates while preserving end-to-end differentiability. During training, we jointly optimize classification and energy losses, encouraging the model to achieve accurate prediction while favoring low-energy, stable, and interpretable structures. We further derive the framework from the energy function and variational free energy to the mean-field fixed-point equations, Gumbel-Softmax relaxation, and the final joint objective. The proposed framework provides a unified view of integrating Boltzmann machines, differentiable discrete optimization, and Transformers for structured learning on biological sequences.
- Abstract（参考訳）: DNA配列の分類には、高い予測精度だけでなく、潜伏する部位の相互作用、組合せ的調節、およびてんかん様の高次依存関係を明らかにする能力も必要である。
標準的なTransformerは強力なグローバルモデリング能力を提供するが、そのソフトマックスの注意力は連続的で密度が高く、制約が弱いため、明示的な構造発見よりも情報ルーティングに適している。
本稿ではBoltzmann-machine-enhanced Transformerを提案する。
マルチヘッドアテンションに基づいて構築されたこのモデルは、遅延クエリキー接続を表現し、ボルツマンスタイルのエネルギー関数でそれらを制約するために、構造化されたバイナリゲーティング変数を導入する。
クエリキーの類似性は、局所バイアス項を定義し、学習可能なペアワイズインタラクションは、エッジ間のシナジーと競合を捉え、潜在隠れユニットは高階の組合せ依存をモデル化する。
離散的ゲーティンググラフに対する正確な後部推論は難解であるため、平均場変分推論を用いてエッジ活性化確率を推定し、Gumbel-Softmax と組み合わせて連続確率をほぼ離散ゲートに段階的に圧縮し、エンドツーエンドの微分可能性を保存する。
トレーニング中、我々は分類とエネルギー損失を共同で最適化し、低エネルギー、安定、解釈可能な構造を好みながら正確な予測を行うようモデルに奨励する。
さらに、この枠組みはエネルギー関数と変動自由エネルギーから平均場固定点方程式、ガンベル・ソフトマックス緩和、および最終的な共同目的へと導かれる。
提案するフレームワークは,ボルツマンマシンの統合,微分可能離散最適化,および生物学的シーケンス上の構造化学習のためのトランスフォーマーの統一ビューを提供する。
関連論文リスト
- NeuroGame Transformer: Gibbs-Inspired Attention Driven by Game Theory and Statistical Physics [1.2026755069251662]
本稿では,NuroGame Transformer (NGT)を導入し,変圧器の標準的な注意機構を克服する。
トークンの重要性は、2つの相補的なゲーム理論の概念によって定量化され、グローバルな置換に基づく属性に対する共有値と、ローカルな連立レベルの影響に対するBanzhaf指標である。
系のエネルギーは、ギブス分布の下で限界確率として注意重みが現れるイジング・ハミルトンに従う。
論文 参考訳（メタデータ） (2026-03-19T11:14:30Z) - Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。
VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。
合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
論文 参考訳（メタデータ） (2026-01-30T03:59:38Z) - Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。
この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。
バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
論文 参考訳（メタデータ） (2025-11-26T20:02:59Z) - PowerGrow: Feasible Co-Growth of Structures and Dynamics for Power Grid Synthesis [75.14189839277928]
本稿では,運用効率を維持しながら計算オーバーヘッドを大幅に削減する,共同生成フレームワークPowerGrowを提案する。
ベンチマーク設定による実験では、PowerGrowはフィデリティと多様性において、事前の拡散モデルよりも優れていた。
これは、運用上有効で現実的な電力グリッドシナリオを生成する能力を示している。
論文 参考訳（メタデータ） (2025-08-29T01:47:27Z) - BoltzNCE: Learning Likelihoods for Boltzmann Generation with Stochastic Interpolants and Noise Contrastive Estimation [1.2874523233023452]
ボルツマン分布からの効率的なサンプリングは、分子のような複雑な物理系をモデル化する上で重要な課題である。
我々は、ノイズコントラスト推定(NCE)とスコアマッチングの両方を用いて、エネルギーベースモデル(EBM)を訓練する。
また,提案手法では,実効的な転送学習を行い,推論時に新しいシステムに一般化し,標準MDよりも少なくとも6倍の高速化を実現している。
論文 参考訳（メタデータ） (2025-07-01T15:18:28Z) - Score-Based Model for Low-Rank Tensor Recovery [49.158601255093416]
低ランクテンソル分解(TD)は、マルチウェイデータ解析に有効なフレームワークを提供する。
従来のTD法は、CPやタッカー分解のような事前定義された構造的仮定に依存している。
本稿では,事前定義された構造的仮定や分布的仮定の必要性を排除したスコアベースモデルを提案する。
論文 参考訳（メタデータ） (2025-06-27T15:05:37Z) - Scalable Equilibrium Sampling with Sequential Boltzmann Generators [60.00515282300297]
Boltzmannジェネレータフレームワークを2つの重要なコントリビューションで拡張する。
1つ目は、全原子カルテシアン座標で直接動作する非常に効率的なトランスフォーマーベースの正規化フローである。
特に,連続モンテカルロの連続時間変種を用いて,流れサンプルの推論時スケーリングを行う。
論文 参考訳（メタデータ） (2025-02-25T18:59:13Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in
Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。
本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
論文 参考訳（メタデータ） (2022-10-22T10:25:35Z) - Sparse Communication via Mixed Distributions [29.170302047339174]
我々は「混合確率変数」の理論基盤を構築する。
本フレームワークは,混合確率変数の表現とサンプリングのための2つの戦略を提案する。
我々は、創発的な通信ベンチマークにおいて、両方のアプローチを実験する。
論文 参考訳（メタデータ） (2021-08-05T14:49:03Z) - Masked Language Modeling for Proteins via Linearly Scalable Long-Context
Transformers [42.93754828584075]
我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。
我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。
これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
論文 参考訳（メタデータ） (2020-06-05T17:09:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。