論文の概要: LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining
- arxiv url: http://arxiv.org/abs/2608.12419v1
- Date: Wed, 12 Aug 2026 07:45:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.278066
- Title: LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining
- Title（参考訳）: LoKiFormer: 効率的な大規模言語モデル事前学習のための非結合知識メモリによる局所性を考慮した注意
- Abstract要約: 大規模言語モデル(LLM)は、様々なアプリケーションで顕著なブレークスルーを達成した。
2つの専用モジュールで標準デコーダを拡張する新しいLLMアーキテクチャであるLoKiFormerを提案する。
実験の結果、LoKiFormerはベースラインモデルよりも事前トレーニングで1.33倍早く収束することがわかった。
- 参考スコア（独自算出の注目度）: 37.40399441420589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have achieved remarkable breakthroughs across various applications. However, their architectures remain inefficient in pretraining due to two main limitations: (i) self-attention lacks an explicit inductive bias for locality, leading to redundant modeling of sequence-internal local information; (ii) mixture-of-experts (MoE) implicitly couples knowledge storage with computational pathways, hindering flexible access to sequence-external global knowledge. To overcome these limitations, we propose LoKiFormer, a novel LLM architecture that augments the standard decoder with two dedicated modules: 1) Local Fusion Attention (LFA), which incorporates a convolutional fusion to attention, explicitly capturing local patterns and allowing the attention to operate on more informative representations; 2) Knowledge Memory Module (KMM), which introduces a parametric key-value memory that explicitly stores global knowledge in addressable slots, decoupling storage from computation and enabling direct knowledge retrieval. Together, these modules enable LoKiFormer to achieve more efficient and effective integration of information at both levels. Experimental results show that LoKiFormer converges 1.33x faster in pre-training than baseline models, underscoring its superiority over existing LLM architectures.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なアプリケーションで顕著なブレークスルーを達成した。
しかしながら、そのアーキテクチャは2つの主要な制限のため、事前訓練において非効率のままである。
(i)自己注意は、局所性に対する明示的な帰納バイアスを欠き、シーケンス内部の局所情報の冗長なモデリングにつながる。
(二)知識の混合(MoE)は暗黙的に知識記憶と計算経路を結合し、シーケンス外のグローバルな知識への柔軟なアクセスを妨げる。
この制限を克服するために,2つの専用モジュールで標準デコーダを拡張する,新しいLLMアーキテクチャであるLoKiFormerを提案する。
1) 局所核融合注意(LFA)は、注意への畳み込み融合を取り入れ、局所的なパターンを明確に捉え、より情報的な表現に注意を向けることができる。
2)KMM(Knowledge Memory Module)は,グローバルな知識をアドレス可能なスロットに明示的に格納し,計算からストレージを分離し,直接知識検索を可能にする,パラメトリックなキー値メモリを導入している。
これらのモジュールによって、LoKiFormerは、両方のレベルでより効率的で効果的な情報統合を実現することができる。
実験の結果、LoKiFormerはベースラインモデルよりも1.33倍高速で事前学習が可能であり、既存のLLMアーキテクチャよりも優れていることが示された。
関連論文リスト
- Localist LLMs with Recruitment Learning [0.0]
連続的に調整可能な内部表現を持つ大規模言語モデルを訓練するための新しいフレームワークを提案する。
主な革新は,(1) モデルの再訓練を必要とせず,訓練と推論の双方において局所化の度合いを動的に制御する局所性ダイヤル,(2) セマンティックブロックを必要に応じて適応的に割り当てる情報理論的採用機構である。
論文 参考訳（メタデータ） (2025-10-20T09:58:34Z) - CAM: A Constructivist View of Agentic Memory for LLM-Based Reading Comprehension [55.29309306566238]
現在のLarge Language Models (LLM) は、長文文書を解釈する際に圧倒的な情報量に直面している。
この課題は、バニラLSMを自律的な読み出しエージェントに高めることができる凝集性メモリモジュールの必須性を高める。
我々はジャン・ピアジェの構成主義理論(Constructivist Theory)からインスピレーションを得て、エージェントメモリの3つの特性(構造化スキーマ、フレキシブルな同化、動的調節)を表現した。
論文 参考訳（メタデータ） (2025-10-07T02:16:30Z) - Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。
本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
論文 参考訳（メタデータ） (2025-08-27T12:26:55Z) - Efficient Tuning of Large Language Models for Knowledge-Grounded Dialogue Generation [21.52726424882653]
KEDiTは、知識基底対話生成のための大規模言語モデルを微調整する効率的な方法である。
まず、検索した知識を学習可能なパラメータに圧縮するために情報ボトルネックを使用し、計算オーバーヘッドを最小限に抑えながら重要な情報を保持する。
ウィキペディアのウィザードと新しく構築されたPubMed-Dialogデータセットの実験結果は、KEDiTが文脈的に関連があり、情報的な応答を生成するのに優れていることを示している。
論文 参考訳（メタデータ） (2025-04-10T13:54:36Z) - SEKI: Self-Evolution and Knowledge Inspiration based Neural Architecture Search via Large Language Models [11.670056503731905]
本稿では,新しい大規模言語モデル (LLM) に基づくニューラルアーキテクチャ探索 (NAS) 手法であるSEKIを紹介する。
現代のLLMにおけるチェーン・オブ・シント(CoT)パラダイムにインスパイアされたセキは、自己進化と知識蒸留という2つの重要な段階で動作している。
論文 参考訳（メタデータ） (2025-02-27T09:17:49Z) - Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。
本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文 参考訳（メタデータ） (2025-01-08T11:37:06Z) - Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
高速な長文モデリングのためのCCAアテンションを提案する。
本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。
提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
論文 参考訳（メタデータ） (2024-12-17T01:54:08Z) - From Holistic to Localized: Local Enhanced Adapters for Efficient Visual Instruction Fine-Tuning [102.18178065928426]
効率的なビジュアルインストラクションファインタニング(EVIT)は、最小の計算オーバーヘッドで下流タスクにマルチモーダル大言語モデル(MLLM)を適用することを目指している。
本稿では,Dual Low-Rank Adaptation (Dual-LoRA)を提案する。
論文 参考訳（メタデータ） (2024-11-19T11:03:09Z) - MLAAN: Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network [4.396837128416218]
MLAAN(Multilaminar Leap Augmented Auxiliary Network)を提案する。
MLAANは、独立およびカスケードされた補助ネットワークを通じて、ローカルおよびグローバル両方の特徴をキャプチャする。
さらに,ローカルモジュール間の情報交換を容易にするために,指数移動平均 (EMA) 法を用いた拡張補助ネットワーク LAM を設計する。
CIFAR-10, STL-10, SVHN, ImageNetデータセットを用いた実験により, MLAANが既存のローカル学習フレームワークにシームレスに統合可能であることを示す。
論文 参考訳（メタデータ） (2024-06-24T13:30:55Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳（メタデータ） (2023-11-16T07:09:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。