論文の概要: GSM: Efficient Language Modeling with Shared Global State

• arxiv url: http://arxiv.org/abs/2609.33465v1
• Date: Sun, 27 Sep 2026 11:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:36:49.127318
• Title: GSM: Efficient Language Modeling with Shared Global State
• Title（参考訳）: GSM: 共有グローバルステートによる効率的な言語モデリング
• Abstract要約: 本稿では,符号化段階における長距離情報の選択と集約に集中する因果エンコーダ・デコーダアーキテクチャを提案する。 実験の結果、GSMは計算効率を向上し、モデル性能を維持しながらキャッシュオーバーヘッドを低減することがわかった。
• 参考スコア（独自算出の注目度）: 20.650197884291032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient language models must reduce not only the cost of individual accesses to past context but also the overhead of repeatedly selecting and processing historical information across layers. We introduce the Global State Model (GSM), a causal encoder--decoder architecture that concentrates the selection and aggregation of long-range information in the encoding stage. Through multiple stages of history retrieval, the encoder progressively incorporates long-range information into representations at recent positions, forming a shared state with a fixed window size. Each decoder layer accesses this same state using queries updated from the preceding layer, preserving computational depth while avoiding repeated construction of historical key--value (KV) representations and long-range indexing. As a result, neither the decoder's per-step attention cost nor its KV cache size grows with the history length. Experiments show that GSM improves computational efficiency and reduces cache overhead while maintaining model performance and the ability to use long-range information, offering a shared-state architecture for efficient language modeling.
• Abstract（参考訳）: 効率的な言語モデルでは、過去のコンテキストへの個々のアクセスコストだけでなく、階層をまたいだ履歴情報の繰り返しの選択と処理のオーバーヘッドも削減する必要がある。 我々は,符号化段階における長距離情報の選択と集約に集中する因果エンコーダ・デコーダアーキテクチャであるGSM(Global State Model)を導入する。 履歴検索の複数の段階を通じて、エンコーダは、近位置における長距離情報を徐々に表現に組み込んで、固定されたウィンドウサイズで共有状態を形成する。 各デコーダ層は、前層から更新されたクエリを使用して同じ状態にアクセスし、履歴キー値(KV)表現と長距離インデックスの繰り返し構成を避けながら、計算深度を保存する。 その結果、デコーダのステップ毎の注意コストやKVキャッシュサイズは、履歴長とともに増大しない。 実験により、GSMは計算効率を向上し、モデル性能を維持しながらキャッシュオーバーヘッドを低減し、長距離情報を利用する能力を示し、効率的な言語モデリングのための共有状態アーキテクチャを提供する。

関連論文リスト

• MARCH: Scaling Recurrent Memory with Content-Routed State Anchors [41.39470291507015]
  トランスフォーマーはその強い長文検索能力の多くを、コンテキスト長で成長するトークンレベルのメモリに負っている。 リカレントな代替手段は、履歴全体を固定サイズの状態に圧縮することで効率的な復号化を提供する。 メモリ・アンカー・ルーティング(Memory-Anchor Routing across Context History, MARCH)は、状態空間モデルを固定次元を超えて効果的にスケールするネットワークアーキテクチャである。
  論文  参考訳（メタデータ） (2026-08-12T13:45:01Z)
• Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
  Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。 modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
  論文  参考訳（メタデータ） (2026-03-05T03:16:16Z)
• Mixture of Contexts for Long Video Generation [72.96361488755986]
  我々は長文ビデオ生成を内部情報検索タスクとして再放送する。 本稿では,学習可能なスパークアテンション・ルーティング・モジュールであるMixture of Contexts (MoC) を提案する。 データをスケールしてルーティングを徐々に分散させていくと、そのモデルは計算を適切な履歴に割り当て、アイデンティティ、アクション、シーンを数分のコンテンツで保存する。
  論文  参考訳（メタデータ） (2025-08-28T17:57:55Z)
• LOCOST: State-Space Models for Long Document Abstractive Summarization [76.31514220737272]
  長いコンテキスト入力を持つ条件付きテキスト生成のための状態空間モデルに基づくエンコーダデコーダアーキテクチャであるLOCOSTを提案する。 計算複雑性が$O(L log L)$の場合、このアーキテクチャは疎注意パターンに基づく最先端モデルよりもはるかに長いシーケンスを処理できる。
  論文  参考訳（メタデータ） (2024-01-31T15:33:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。