論文の概要: Adaptive Domain Models: Bayesian Evolution, Warm Rotation, and Principled Training for Geometric and Neuromorphic AI
- arxiv url: http://arxiv.org/abs/2603.18104v1
- Date: Wed, 18 Mar 2026 12:36:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:05.766558
- Title: Adaptive Domain Models: Bayesian Evolution, Warm Rotation, and Principled Training for Geometric and Neuromorphic AI
- Title(参考訳): 適応型ドメインモデル:幾何学的およびニューロモーフィックAIのためのベイズ進化、温間回転、および原理的トレーニング
- Authors: Houston Haynes,
- Abstract要約: 本稿では,3つの事前結果に基づいて,代替的なトレーニングアーキテクチャを開発する。
本稿では,一般目的モデルの潜在事前構造をADMトレーニングシステムを介して抽出する機構であるベイズ蒸留を導入する。
デプロイには、更新されたモデルがサービスを中断することなくアクティブな推論経路に遷移する運用パターンであるウォームローテーションを導入する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prevailing AI training infrastructure assumes reverse-mode automatic differentiation over IEEE-754 arithmetic. The memory overhead of training relative to inference, optimizer complexity, and structural degradation of geometric properties through training are consequences of this arithmetic substrate. This paper develops an alternative training architecture grounded in three prior results: the Dimensional Type System and Deterministic Memory Management framework [6], which establishes stack-eligible gradient allocation and exact quire accumulation as design-time verifiable properties; the Program Hypergraph [8], which establishes grade preservation through geometric algebra computations as a type-level invariant; and the b-posit 2026 standard [10], which makes posit arithmetic tractable across hardware targets conventionally considered inference-only. Their composition enables depth-independent training memory bounded to approximately twice the inference footprint, grade-preserving weight updates, and exact gradient accumulation, applicable uniformly to loss-function-optimized and spike-timing-dependent neuromorphic models. We introduce Bayesian distillation, a mechanism by which the latent prior structure of a general-purpose model is extracted through the ADM training regime, resolving the data-scarcity bootstrapping problem for domain-specific training. For deployment, we introduce warm rotation, an operational pattern in which an updated model transitions into an active inference pathway without service interruption, with structural correctness formalized through PHG certificates and signed version records. The result is a class of domain-specific AI systems that are smaller and more precise than general-purpose models, continuously adaptive, verifiably correct with respect to the physical structure of their domains, and initializable from existing models.
- Abstract(参考訳): 一般的なAIトレーニングインフラストラクチャは、IEEE-754演算よりもリバースモードの自動微分を前提としている。
トレーニングによる推論、最適化の複雑さ、幾何学的特性の構造的劣化に対するトレーニングのメモリオーバーヘッドは、この算術基板の結果である。
本稿では, 3 つの事前結果に基づいて, スタック・オブ・アグリゲーション・アロケーションを確立する次元型システムと決定論的メモリ管理フレームワーク [6] , 幾何代数計算による次数保存を型レベル不変量として確立するプログラムハイパーグラフ [8] , 従来の推論専用とみなすハードウェア対象のポジット演算を可能にするb-ポジット 2026 標準 [10] の3つのトレーニングアーキテクチャを開発する。
それらの構成は、推定フットプリントの約2倍の深さ非依存トレーニングメモリ、グレード保存重量更新、正確な勾配の蓄積を可能にし、損失関数最適化およびスパイク刺激依存ニューロモルフィックモデルに一様に適用できる。
本稿では,ADMトレーニングシステムを通じて汎用モデルの潜在事前構造を抽出する機構であるベイズ蒸留を導入する。
デプロイには、更新されたモデルがサービス中断なしにアクティブな推論経路に遷移する運用パターンであるウォームローテーションを導入し、PHG証明書と署名されたバージョンレコードによって構造的正しさが定式化される。
その結果、汎用モデルよりも小さく、より正確で、継続的な適応性があり、ドメインの物理的構造に関して検証可能な正確さを持ち、既存のモデルから初期化可能である、ドメイン固有のAIシステムのクラスとなる。
関連論文リスト
- Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。
本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。
提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
論文 参考訳(メタデータ) (2025-10-20T16:15:03Z) - Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。
我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。
アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
論文 参考訳(メタデータ) (2025-10-14T03:03:08Z) - Graded Transformers [0.0]
そこで我々は,ベクトル空間上のグレーディングを通じて帰納バイアスを埋め込む新しいシーケンスモデルである Graded Transformer フレームワークを紹介した。
このフレームワークは、以前のモデルの固定グレードの制限を克服し、適応的な特徴優先順位付けを可能にする。
Graded Transformerは、階層的学習とニューロシンボリック推論に対する数学的に原則化されたアプローチを提供する。
論文 参考訳(メタデータ) (2025-07-27T02:34:08Z) - Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。
本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。
残る技術的課題や倫理的考察も分析する。
論文 参考訳(メタデータ) (2025-06-05T05:42:27Z) - A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations [2.7755345520127936]
非定常・非線形偏微分方程式(PDE)を正確にモデル化するためのドメイン分割型ディープラーニング(DL)フレームワークCoMLSimを提案する。
このフレームワークは、(a)畳み込みニューラルネットワーク(CNN)ベースのオートエンコーダアーキテクチャと(b)完全に接続された層で構成される自己回帰モデルという、2つの重要なコンポーネントで構成されている。
論文 参考訳(メタデータ) (2024-08-26T17:50:47Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Symplectic Autoencoders for Model Reduction of Hamiltonian Systems [0.0]
長期の数値安定性を確保するためには,システムに関連するシンプレクティックな構造を維持することが重要である。
本稿では,次元削減のための確立されたツールであるオートエンコーダの精神の中で,新しいニューラルネットワークアーキテクチャを提案する。
ネットワークのトレーニングには,非標準勾配降下法を適用した。
論文 参考訳(メタデータ) (2023-12-15T18:20:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。