論文の概要: Generic Triple-Latent Compression with Gated Associative Retrieval

• arxiv url: http://arxiv.org/abs/2606.05175v1
• Date: Fri, 17 Apr 2026 04:27:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.626291
• Title: Generic Triple-Latent Compression with Gated Associative Retrieval
• Title（参考訳）: Gated Associative Retrieval を用いたジェネリックトリプル遅延圧縮
• Authors: Liu Xiao,
• Abstract要約: ベンチマーク固有の解析を行わずに高次トークン相互作用を捉えるために,実行中のトークン状態と圧縮されたペアメモリ経路を保持する汎用三重遅延列モデルについて検討する。 トリプルレイテンシーファミリーは、バイトレベルのWikiText-2とトークンライザベースのMiniMind言語モデルベンチマーク上の小さなTransformerベースラインを改善し、リコール中心のゲートキー値検索拡張は連想リコールを改善するが、現在の参照実装ではシードセンシティブでずっと遅い。
• 参考スコア（独自算出の注目度）: 0.7364191922317778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study generic triple-latent sequence models that maintain a running token state and compressed pair-memory pathway to capture higher-order token interactions without benchmark-specific parsing. The triple-latent family improves a small Transformer baseline on byte-level WikiText-2 and on a tokenizer-based MiniMind language-model benchmark, while a recall-focused gated key-value retrieval extension improves associative recall but remains seed-sensitive and much slower in the current reference implementation.
• Abstract（参考訳）: ベンチマーク固有の解析を行わずに高次トークン相互作用を捉えるために,実行中のトークン状態と圧縮されたペアメモリ経路を保持する汎用三重遅延列モデルについて検討する。 トリプルレイテンシーファミリーは、バイトレベルのWikiText-2とトークンライザベースのMiniMind言語モデルベンチマーク上の小さなTransformerベースラインを改善し、リコール中心のゲートキー値検索拡張は連想リコールを改善するが、現在の参照実装ではシードセンシティブでずっと遅い。

関連論文リスト

• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Rethinking Memory as Continuously Evolving Connectivity [63.58181883607843]
  既存のメモリ拡張LDMエージェントは、メモリを事前定義された表現と固定された検索パイプラインを備えた静的リポジトリとして扱う。 メモリをヘテロジニアスなグラフとしてモデル化し,そのトポロジを3段階にわたって段階的に洗練する,コネクティビティ進化型メモリフレームワークであるFluxMemを提案する。 LoCoMo、Mind2Web、GAIAなど、根本的に異なる3つのベンチマークにおいて、FluxMemは一貫した最先端のパフォーマンスを実現し、複雑なエージェント環境において強力な適応と一般化を示す。
  論文  参考訳（メタデータ） (2026-05-27T17:35:34Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Trie-Aware Transformers for Generative Recommendation [18.901863061905825]
  本稿では,TrieRecを提案する。TrieRecは,トランスフォーマーを構造的帰納バイアスで拡張する,トリエアウェアな生成レコメンデーション手法である。 3つの代表的なGRバックボーン内にTrieRecを実装し、実際の4つのデータセットの平均8.83%の改善を実現しています。
  論文  参考訳（メタデータ） (2026-02-25T08:25:16Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• Trellis: Learning to Compress Key-Value Memory in Attention Models [48.12167339402521]
  本稿では,有界メモリを備えた新しいトランスフォーマーアーキテクチャであるTrellisを紹介する。 Trellisは標準のKVキャッシュを固定サイズのメモリに置き換え、新しいキーと値をメモリに格納する2パスのリカレント圧縮機構を訓練する。 言語モデリング、常識推論、リコール集約タスク、時系列に関する実験は、提案されたアーキテクチャが強力なベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-29T20:32:10Z)
• Pushdown Layers: Encoding Recursive Structure in Transformer Language Models [86.75729087623259]
  再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。 この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。 プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
  論文  参考訳（メタデータ） (2023-10-29T17:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。