論文の概要: p-Spin Glass Network Efficient Single-Batch Continual Learning

• arxiv url: http://arxiv.org/abs/2608.14774v1
• Date: Fri, 14 Aug 2026 16:24:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.078156
• Title: p-Spin Glass Network Efficient Single-Batch Continual Learning
• Title（参考訳）: p-Spin Glass Network を用いたシングルバッチ連続学習
• Abstract要約: p$-Spin Glass Networkは,制約を克服し,最適化の分散を構造的に管理し,注目に値する4つの機能を実現する新しいアーキテクチャである。 サンプル効率を実証し、Transformerベースラインのパフォーマンスにマッチし、トレーニングシーケンスの少ない8倍のコストで利用することができる。 最終的に、この作業は安定したディープラーニングに対する大きな要求を取り除き、継続的学習とエッジAIの基礎を確立します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern sequence models heavily rely on massive memory footprints and large-batch stochastic optimization, barriers that restrict sample efficiency and continual learning. We introduce the $p$-Spin Glass Network, a novel architecture that overcomes these limitations, structurally manages optimization variance and yields four noticeable capabilities: 1. It enforces memory efficiency: native ternary quantization compresses internal parameters by $8\times$, while exact implicit gradients strictly bound activation memory to $\mathcal{O}(B \cdot T \cdot D)$. 2. it demonstrates sample efficiency, matching the asymptotic performance of a Transformer baseline while utilizing $8\times$ fewer training sequences. 3. Method enables single-batch stability and smooth, monotonic convergence at a stochastic micro-batch size of $1$. 4. Finally, this stability proves modality-agnostic, maintaining robust temporal credit assignment across both discrete subword and long horizon uncompressed raw byte streams. Ultimately, this work removes large batch requirement for stable deep learning, establishing a foundation for continuous learning and edge AI.
• Abstract（参考訳）: 現代のシーケンスモデルは、大規模なメモリフットプリントと大きなバッチ確率最適化、サンプル効率と継続的な学習を制限する障壁に大きく依存している。 p$-Spin Glass Networkは,これらの制限を克服し,最適化の分散を構造的に管理し,注目すべき4つの機能を提供します。 ネイティブ3次量子化は内部パラメータを8\times$で圧縮するが、正確な暗黙的勾配はアクティベーションメモリを$\mathcal{O}(B \cdot T \cdot D)$に厳密に束縛する。 サンプル効率を実証し,Transformerベースラインの漸近的性能と一致し,トレーニングシーケンスの少ない8\timesを有効活用する。 3. 単一バッチ安定性とスムーズな単調収束を, 確率的マイクロバッチサイズ1ドルで実現した。 最後に、この安定性はモダリティに依存しないことを証明し、離散的なサブワードと長い水平方向の未圧縮の生のバイトストリームの両方に頑健な時間的信用割り当てを維持する。 最終的にこの作業は、安定したディープラーニングのための大規模なバッチ要件を取り除き、継続的学習とエッジAIの基礎を確立します。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
  本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。 メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。 EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
  論文  参考訳（メタデータ） (2026-04-13T03:19:36Z)
• 6Bit-Diffusion: Inference-Time Mixed-Precision Quantization for Video Diffusion Models [32.45415555978057]
  拡散変換器はビデオの生成において顕著な能力を示した。 しかし、それらの実践的な展開は、高いメモリ使用量と計算コストに制約されている。 トレーニング後の量子化は、メモリ使用量を減らし、速度を向上する実用的な方法を提供する。
  論文  参考訳（メタデータ） (2026-03-19T10:45:11Z)
• Omni-Masked Gradient Descent: Memory-Efficient Optimization via Mask Traversal with Improved Convergence [5.683382109687174]
  メモリ効率の最適化手法は近年,GPUメモリボトルネック下での大規模言語モデルのフルチューニングに注目が集まっている。 我々は,Omni-O-Masked Descent (OMGD) をメモリ効率トレーニングのアプローチとして提案する。
  論文  参考訳（メタデータ） (2026-03-06T06:47:52Z)
• Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
  Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。 LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。 原子のコミットメントの前に、言語や構造的受容の境界を画定する。
  論文  参考訳（メタデータ） (2026-03-05T18:25:26Z)
• RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs [5.782015253162346]
  残留バイナライゼーションは、バイナリ層を積み重ねることで、マットルフリーな推論を可能にする。 本稿では,残差階層をアルゴリズム的に強制することでコダプタ化を解決する新しい量子化フレームワークであるRaBiTを提案する。 RaBiTは最先端のパフォーマンスを実現し、ハードウェア集約型ベクトル量子化(VQ)の手法と競合する。
  論文  参考訳（メタデータ） (2026-02-05T06:41:11Z)
• Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
  階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。 実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-09-29T12:55:50Z)
• VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence [6.574641780732972]
  大規模非問題はディープラーニングでは一般的である。 ファーストオーダー(FO)は今日のベースラインとして機能する。 ZOアルゴリズムは計算量とメモリコストを減らす。 VAMOは、より少ない動的メモリ要求でこれらのゲインを達成する。
  論文  参考訳（メタデータ） (2025-05-20T05:31:15Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
  機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。 本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-05-30T17:47:27Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。