論文の概要: Lngram: N-gram Conditional Memory in Latent Space

• arxiv url: http://arxiv.org/abs/2605.24869v1
• Date: Sun, 24 May 2026 04:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.48563
• Title: Lngram: N-gram Conditional Memory in Latent Space
• Title（参考訳）: Lngram: 潜時空間におけるN-gram条件記憶
• Authors: Yunao Zheng, Guoyang Xia, Xiaojie Wang, Lei Ren,
• Abstract要約: 隠れ状態から直接離散シンボルを学習する潜在空間条件記憶モジュールを提案する。 Lngramは、長文言語モデリングにおいてTransformerとEngramのベースラインを上回ります。 LogitLensとCKAによる分析では、Lngramによって予測関連情報が早く現れることが示唆されている。
• 参考スコア（独自算出の注目度）: 7.279732869251628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence modeling requires both compositional reasoning and local static knowledge retrieval, yet standard Transformers handle both through dense computation. Engram partially decouples retrieval from the backbone, but its token-based keys remain tied to text tokenization and hash compression. We propose Lngram, a latent-space conditional memory module that learns discrete symbols directly from hidden states and performs N-gram lookup over these symbols. This design removes the dependence on tokenizer IDs and naturally extends to non-text modalities. In our evaluated settings, Lngram outperforms Transformer and Engram baselines, consistently reduces perplexity in long-context language modeling, and effectively injects domain knowledge when added post hoc to pretrained models. Joint training with the backbone further surpasses full fine-tuning, while experiments on vision-language and vision-language-action tasks show overall gains. Analyses with LogitLens and CKA suggest that Lngram enables prediction-relevant information to emerge earlier, increasing effective depth with limited inference and memory overhead. Code is available at https://github.com/zyaaa-ux/Lngram.
• Abstract（参考訳）: シーケンスモデリングには、構成的推論と局所的静的知識検索の両方が必要であるが、標準的なトランスフォーマーは高密度計算の両方を処理している。 Engramは、バックボーンからの検索を部分的に分離するが、トークンベースのキーは、テキストトークン化とハッシュ圧縮に結びついている。 隠れ状態から直接離散シンボルを学習し,これらのシンボル上でN-gram検索を行う,潜在空間条件付きメモリモジュールLngramを提案する。 この設計はトークン化子IDへの依存を排除し、自然に非テキストモダリティに拡張する。 評価した設定では、LngramはTransformerとEngramのベースラインを上回り、長いコンテキスト言語モデリングにおける難易度を一貫して低減し、事前訓練されたモデルにポストホックを追加するとドメイン知識を効果的に注入する。 バックボーンとのジョイントトレーニングは、完全な微調整を超える一方、視覚言語および視覚言語アクションタスクに関する実験は、全体的な向上を示している。 LogitLensとCKAによる分析では、Lngramは予測関連情報を早期に実現し、推論とメモリオーバーヘッドの制限による効果的な深度の向上を示唆している。 コードはhttps://github.com/zyaaa-ux/Lngramで入手できる。

関連論文リスト

• Does Engram Do Memory Retrieval in Autoregressive Image Generation? [50.31813662801864]
  本研究では,Engramモジュールを2次元空間的$n$-gramハッシュ,ゲート融合,KV-cache互換インクリメンタル推論で視覚に適応させる。 ゲート・クランプ・スイープは、エングラムの経路を完全に無効にすることは破滅的であることを示している。 ドナープローブ実験により、一致した、逆数的な、あるいはランダムな同一クラスの例にハッシュ入力を交換すると、統計的に区別不能な次トーケン分布が生じることが示された。
  論文  参考訳（メタデータ） (2026-05-13T08:40:46Z)
• Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models [32.05060138278358]
  我々は,有向グラフに基づく合成図データセットを用いて,大規模視覚言語モデル(LVLM)の内部表現を探索する。 実験の結果,エッジ情報はビジョンエンコーダでは線形に分離できず,言語モデルではテキストトークンでのみ線形に符号化されることがわかった。 これらのことから,線形分離可能な表現が形成される段階は視覚情報の種類によって異なることが示唆された。
  論文  参考訳（メタデータ） (2026-03-03T11:17:31Z)
• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models [42.816060150754645]
  我々は,O(1)ルックアップのための古典的な$N$-gram埋め込みを近代化するモジュールであるEngramを介してインスタンス化した,相補的空間軸として条件記憶を導入する。 我々はEngramを27Bパラメータに拡張し、厳密なアイソパラメータとアイソFLOPs MoEベースラインよりも優れた性能を実現する。 我々は,次世代スパースモデルにおいて,条件記憶を必要不可欠なモデリングプリミティブとして想定する。
  論文  参考訳（メタデータ） (2026-01-12T09:54:49Z)
• Semantic-Condition Tuning: Fusing Graph Context with Large Language Models for Knowledge Graph Completion [6.895510903358326]
  知識グラフと大規模言語モデルとの融合は、知識グラフ補完のような知識集約的なタスクに不可欠である。 本稿では2つの重要なモジュールからなる新しい知識注入パラダイムであるセマンティック適応グラフチューニング(SCT)を提案する。 SCTはより直接的で強力な信号を提供し、より正確で堅牢な知識推論を可能にする。
  論文  参考訳（メタデータ） (2025-10-10T03:22:27Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens [138.36729703589512]
  神経大言語モデル(LLM)の時代には,$n$-gramの言語モデルがいまだに関係していることを示す。 これは、2つの側面で$n$-gramのLMを近代化することで実現された。まず、ニューラルネットワークLLMと同じデータスケールでトレーニングする -- 5兆トークン。 次に、既存の$n$-gram LMは、そのパフォーマンスを妨げる小さな$n$を使用します。
  論文  参考訳（メタデータ） (2024-01-30T19:03:49Z)
• ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding [44.21363470798758]
  ERNIE-Gramは、粗粒度情報の事前学習への統合を強化するために、明示的にn-gramマスキング法である。 我々は、英語と中国語のテキストコーパスでERNIE-Gramを事前訓練し、19の下流タスクで微調整を行う。 実験結果から,ERNIE-GramはXLNetやRoBERTaといった従来の事前学習モデルよりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2020-10-23T03:42:20Z)
• My Body is a Cage: the Role of Morphology in Graph-Based Incompatible Control [65.77164390203396]
  本稿では,グラフにエンコードされた形態情報により,その性能が向上しないことを示す既存手法に関する一連のアブリケーションを示す。 グラフ構造からGNNが抽出した利益は、メッセージパッシングのために生じる困難によって上回っているという仮説により、Amorpheusも提案する。
  論文  参考訳（メタデータ） (2020-10-05T08:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。