論文の概要: Holographic Knowledge Manifolds: A Novel Pipeline for Continual Learning Without Catastrophic Forgetting in Large Language Models

• arxiv url: http://arxiv.org/abs/2509.10518v1
• Date: Wed, 03 Sep 2025 16:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-21 06:05:45.776476
• Title: Holographic Knowledge Manifolds: A Novel Pipeline for Continual Learning Without Catastrophic Forgetting in Large Language Models
• Title（参考訳）: ホログラフィック・ナレッジ・マニフォールド:大規模言語モデルにおける破滅的獲得を伴わない継続的学習のための新しいパイプライン
• Authors: Justin Arndt,
• Abstract要約: ホログラフィック・ナレッジ・マニフォールド (HKM) は, 知識表現における壊滅的忘れをゼロにする4相パイプラインである。 HKMは知識基板を67%のストレージで3倍圧縮し、ホログラフィックを100%統合し、インクリメント毎に1%成長した1,020以上の更新をサポートする。 業界をリードするパフォーマンスを示す。0%の忘れ込み、3倍の圧縮、および53%のトレーニング時間削減である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Holographic Knowledge Manifold (HKM), a four-phase pipeline that achieves zero catastrophic forgetting in AI knowledge representation while maintaining minimal memory growth and high efficiency. Leveraging fractal quantization, probabilistic entanglement, and dynamic diffraction chipping, HKM compresses knowledge substrates by 3x with 67% storage savings, integrates holographically at 100%, and supports over 1,020 updates with 1% growth per increment. In experiments on combined WikiText and FB15k datasets (scaled to 2,997 nodes), we demonstrate industry-leading performance: 0% forgetting (infinite improvement over GEM baselines), 3x compression, and 53% training time reduction on consumer GPU hardware. Hypothetical cost analyses project $92.4M savings over 5 years at petabyte scale, with 21.2% energy reduction and 33% lower carbon footprint. This work hypothesizes a paradigm shift for public large language models (LLMs), enabling "eternal" adaptation without retraining. Future extensions to multimodal fusion and quantum hardware could further democratize scalable AI, potentially reducing fine-tuning costs by 60-80% for models like Llama-3 or Grok-4. Code, datasets, and full results are publicly available for reproducibility.
• Abstract（参考訳）: ホログラフィック・ナレッジ・マニフォールド(HKM)は,AI知識表現において,最小限のメモリ成長と高効率を維持しつつ,壊滅的な忘れをゼロにする4相パイプラインである。 HKMはフラクタル量子化、確率的絡み合い、動的回折チップを導入し、知識基板を67%のストレージで3倍圧縮し、ホログラフィック的に100%統合し、インクリメント毎に1%成長した1,020以上の更新をサポートする。 WikiTextとFB15kの組み合わせデータセット(2,997ノードにスケール)の実験では、業界をリードするパフォーマンスを実証した。 仮説的なコスト分析は、ペタバイトスケールで5年間で92.4Mの節約を計画し、21.2%のエネルギー削減と33%の炭素フットプリントを達成している。 この研究は、公共の大規模言語モデル(LLM)のパラダイムシフトを仮定し、再訓練なしに「永遠の」適応を可能にする。 将来のマルチモーダルフュージョンと量子ハードウェアの拡張は、スケーラブルなAIをさらに民主化し、Llama-3やGrok-4のようなモデルの微調整コストを60～80%削減する可能性がある。 コード、データセット、完全な結果は、再現性のために公開されている。

関連論文リスト

• LLMOrbit: A Circular Taxonomy of Large Language Models -From Scaling Walls to Agentic AI Systems [3.183924309596046]
  この調査では、8つの相互接続軌道次元を通して、15の組織にわたる50以上のモデルを調査した。 1)データ不足(2026-2028年までに減少する9-27Tトークン)、(2)指数的なコスト増加(5年間で3M～3M+)、(3)持続不可能なエネルギー消費(22倍)の3つの重大な危機を識別する。 トレーニング後ゲイン(RLHF, GRPO, pure RL)、DeepSeek-R1(79.8% MATH)、効率革命(MoEルーティング18x効率、マルチヘッド遅延注意8xKVキャッシュ圧縮)により、GPT-4レベルのパフォーマンスを$で実現している。
  論文  参考訳（メタデータ） (2026-01-20T15:06:19Z)
• From FLOPs to Footprints: The Resource Cost of Artificial Intelligence [4.315953541684344]
  本研究では,計算処理とハードウェアの物理的ニーズを結びつけることで,AIトレーニングの材料フットプリントを定量化する。 Nvidia A100 SXM 40GBグラフィックス処理ユニット(GPU)の素子組成を誘導結合プラズマ発光分光法を用いて解析し,32個の素子を同定した。 その結果、AIハードウェアは約90%の重金属と微量の貴金属からなることがわかった。
  論文  参考訳（メタデータ） (2025-12-03T17:01:46Z)
• TernaryCLIP: Efficiently Compressing Vision-Language Models with Ternary Weights and Distilled Knowledge [23.707347449137895]
  TernaryCLIPは、CLIPの視覚とテキストエンコーダの接続重みを3次フォーマットに変換する軽量フレームワークである。 本研究は,大規模マルチモーダルモデルの極端量子化の実現可能性を強調し,資源制約されたデバイスへの効果的かつ効率的な展開を支援する。
  論文  参考訳（メタデータ） (2025-10-23T14:53:32Z)
• IBEX: Information-Bottleneck-EXplored Coarse-to-Fine Molecular Generation under Limited Data [18.780698265706945]
  3次元生成モデルは構造に基づく薬物発見をますます加速させるが、公開されていないタンパク質-リガンド複合体によって制限されている。 IBEX(Information-Bottleneck-Expploed coarse-to-fine Pipeline)は,タンパク質-リガンド複合体の慢性的欠如に対処する。
  論文  参考訳（メタデータ） (2025-08-14T15:59:22Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Memory-efficient Low-latency Remote Photoplethysmography through Temporal-Spatial State Space Duality [15.714133129768323]
  ME-rは時間空間空間双対性に基づくメモリ効率のアルゴリズムである。 最小の計算オーバーヘッドを維持しながら、顔フレーム間の微妙な周期的な変動を効率的に捉える。 我々のソリューションは3.6MBのメモリ使用率と9.46msのレイテンシでリアルタイムの推論を可能にする。
  論文  参考訳（メタデータ） (2025-04-02T14:34:04Z)
• KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
  KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。 MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。 また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
  論文  参考訳（メタデータ） (2025-03-03T12:43:06Z)
• SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer [49.1761733723771]
  本稿では,テキスト・画像生成における効率的なスケーリングを実現する線形拡散変換器であるSANA-1.5を提案する。 効率的なトレーニングスケーリング、モデルの深さ決定、推論時間スケーリングの3つの重要なイノベーションを紹介します。 これらの戦略により、SANA-1.5 は GenEval 上のテキスト計算画像アライメントスコア 0.81 を達成し、VILA-Judge による推論スケーリングにより、さらに 0.96 に改善できる。
  論文  参考訳（メタデータ） (2025-01-30T15:31:48Z)
• HAC++: Towards 100X Compression of 3D Gaussian Splatting [55.6351304553003]
  3D Gaussian Splatting (3DGS)は、新しいビュー合成のための有望なフレームワークとして登場し、高速レンダリング速度と高忠実さを誇っている。 しかし、ガウスの点雲(あるいは論文のアンカー)のスパースで非組織的な性質は、圧縮の課題を提起している。 本研究では,非組織型アンカーと構造化ハッシュグリッドの関係を利用したHAC++を提案する。
  論文  参考訳（メタデータ） (2025-01-21T16:23:05Z)
• Collaborative Decoding Makes Visual Auto-Regressive Modeling Efficient [52.96232442322824]
  CoDe(Collaborative Decoding)は、Visual Auto-Regressive (VAR)フレームワーク用に設計された、新しい効率的なデコーディング戦略である。 CoDeは、大規模でのパラメータ要求の大幅な削減と、異なるスケールでの排他的生成パターンという、2つの重要な観察に乗じている。 CoDeは1.7倍のスピードアップを実現し、メモリ使用量を約50%削減し、画像品質を1.95から1.98に改善した。
  論文  参考訳（メタデータ） (2024-11-26T15:13:15Z)
• ALPINE: An adaptive language-agnostic pruning method for language models for code [4.148857672591562]
  コードの言語モデルは、様々なソフトウェアエンジニアリングとソースコード解析タスクで最先端のパフォーマンスを示している。 ALPINEは、これらのモデルの計算オーバーヘッドを大幅に削減するために設計された適応型プログラミング言語に依存しないプルーニング技術である。 CodeBERT、GraphCodeBERT、UnixCoderの2つのソフトウェアエンジニアリングタスクの実験では、ALPINEはFLOPの最大50%の削減、メモリフットプリントの58.1%の削減、平均スループットの28.1%の改善を実現している。
  論文  参考訳（メタデータ） (2024-07-04T20:42:51Z)
• DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model [118.06260386652778]
  We present DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model characterized by economical training and efficient inference。 DeepSeek-V2は、MLA(Multi-head Latent Attention)やDeepSeekMoEといった革新的なアーキテクチャを採用している。 DeepSeek-V2はDeepSeek 67Bと比較して大幅に性能が向上し、トレーニングコストは42.5%削減された。
  論文  参考訳（メタデータ） (2024-05-07T15:56:43Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。