論文の概要: Holographic Knowledge Manifolds: A Novel Pipeline for Continual Learning Without Catastrophic Forgetting in Large Language Models

• arxiv url: http://arxiv.org/abs/2509.10518v1
• Date: Wed, 03 Sep 2025 16:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-21 06:05:45.776476
• Title: Holographic Knowledge Manifolds: A Novel Pipeline for Continual Learning Without Catastrophic Forgetting in Large Language Models
• Title（参考訳）: ホログラフィック・ナレッジ・マニフォールド:大規模言語モデルにおける破滅的獲得を伴わない継続的学習のための新しいパイプライン
• Authors: Justin Arndt,
• Abstract要約: ホログラフィック・ナレッジ・マニフォールド (HKM) は, 知識表現における壊滅的忘れをゼロにする4相パイプラインである。 HKMは知識基板を67%のストレージで3倍圧縮し、ホログラフィックを100%統合し、インクリメント毎に1%成長した1,020以上の更新をサポートする。 業界をリードするパフォーマンスを示す。0%の忘れ込み、3倍の圧縮、および53%のトレーニング時間削減である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Holographic Knowledge Manifold (HKM), a four-phase pipeline that achieves zero catastrophic forgetting in AI knowledge representation while maintaining minimal memory growth and high efficiency. Leveraging fractal quantization, probabilistic entanglement, and dynamic diffraction chipping, HKM compresses knowledge substrates by 3x with 67% storage savings, integrates holographically at 100%, and supports over 1,020 updates with 1% growth per increment. In experiments on combined WikiText and FB15k datasets (scaled to 2,997 nodes), we demonstrate industry-leading performance: 0% forgetting (infinite improvement over GEM baselines), 3x compression, and 53% training time reduction on consumer GPU hardware. Hypothetical cost analyses project $92.4M savings over 5 years at petabyte scale, with 21.2% energy reduction and 33% lower carbon footprint. This work hypothesizes a paradigm shift for public large language models (LLMs), enabling "eternal" adaptation without retraining. Future extensions to multimodal fusion and quantum hardware could further democratize scalable AI, potentially reducing fine-tuning costs by 60-80% for models like Llama-3 or Grok-4. Code, datasets, and full results are publicly available for reproducibility.
• Abstract（参考訳）: ホログラフィック・ナレッジ・マニフォールド(HKM)は,AI知識表現において,最小限のメモリ成長と高効率を維持しつつ,壊滅的な忘れをゼロにする4相パイプラインである。 HKMはフラクタル量子化、確率的絡み合い、動的回折チップを導入し、知識基板を67%のストレージで3倍圧縮し、ホログラフィック的に100%統合し、インクリメント毎に1%成長した1,020以上の更新をサポートする。 WikiTextとFB15kの組み合わせデータセット(2,997ノードにスケール)の実験では、業界をリードするパフォーマンスを実証した。 仮説的なコスト分析は、ペタバイトスケールで5年間で92.4Mの節約を計画し、21.2%のエネルギー削減と33%の炭素フットプリントを達成している。 この研究は、公共の大規模言語モデル(LLM)のパラダイムシフトを仮定し、再訓練なしに「永遠の」適応を可能にする。 将来のマルチモーダルフュージョンと量子ハードウェアの拡張は、スケーラブルなAIをさらに民主化し、Llama-3やGrok-4のようなモデルの微調整コストを60～80%削減する可能性がある。 コード、データセット、完全な結果は、再現性のために公開されている。

関連論文リスト

• IBEX: Information-Bottleneck-EXplored Coarse-to-Fine Molecular Generation under Limited Data [18.780698265706945]
  3次元生成モデルは構造に基づく薬物発見をますます加速させるが、公開されていないタンパク質-リガンド複合体によって制限されている。 IBEX(Information-Bottleneck-Expploed coarse-to-fine Pipeline)は,タンパク質-リガンド複合体の慢性的欠如に対処する。
  論文  参考訳（メタデータ） (2025-08-14T15:59:22Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Memory-efficient Low-latency Remote Photoplethysmography through Temporal-Spatial State Space Duality [15.714133129768323]
  ME-rは時間空間空間双対性に基づくメモリ効率のアルゴリズムである。 最小の計算オーバーヘッドを維持しながら、顔フレーム間の微妙な周期的な変動を効率的に捉える。 我々のソリューションは3.6MBのメモリ使用率と9.46msのレイテンシでリアルタイムの推論を可能にする。
  論文  参考訳（メタデータ） (2025-04-02T14:34:04Z)
• SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer [49.1761733723771]
  本稿では,テキスト・画像生成における効率的なスケーリングを実現する線形拡散変換器であるSANA-1.5を提案する。 効率的なトレーニングスケーリング、モデルの深さ決定、推論時間スケーリングの3つの重要なイノベーションを紹介します。 これらの戦略により、SANA-1.5 は GenEval 上のテキスト計算画像アライメントスコア 0.81 を達成し、VILA-Judge による推論スケーリングにより、さらに 0.96 に改善できる。
  論文  参考訳（メタデータ） (2025-01-30T15:31:48Z)
• ALPINE: An adaptive language-agnostic pruning method for language models for code [4.148857672591562]
  コードの言語モデルは、様々なソフトウェアエンジニアリングとソースコード解析タスクで最先端のパフォーマンスを示している。 ALPINEは、これらのモデルの計算オーバーヘッドを大幅に削減するために設計された適応型プログラミング言語に依存しないプルーニング技術である。 CodeBERT、GraphCodeBERT、UnixCoderの2つのソフトウェアエンジニアリングタスクの実験では、ALPINEはFLOPの最大50%の削減、メモリフットプリントの58.1%の削減、平均スループットの28.1%の改善を実現している。
  論文  参考訳（メタデータ） (2024-07-04T20:42:51Z)
• DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model [118.06260386652778]
  We present DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model characterized by economical training and efficient inference。 DeepSeek-V2は、MLA(Multi-head Latent Attention)やDeepSeekMoEといった革新的なアーキテクチャを採用している。 DeepSeek-V2はDeepSeek 67Bと比較して大幅に性能が向上し、トレーニングコストは42.5%削減された。
  論文  参考訳（メタデータ） (2024-05-07T15:56:43Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。