論文の概要: KITE: KV-Invariant Transformer Expansion for Efficient Agentic LLM Scaling

• arxiv url: http://arxiv.org/abs/2609.27294v1
• Date: Wed, 23 Sep 2026 03:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.857674
• Title: KITE: KV-Invariant Transformer Expansion for Efficient Agentic LLM Scaling
• Title（参考訳）: KITE:KV不変変圧器拡張による高効率エージェントLDMスケーリング
• Abstract要約: 我々は、この目標を達成するスケーリングパラダイムであるKV-Invariant Transformer Expansion(KITE)を紹介する。 モデルを小さなサイズからより大きなサイズにトレーニングし、新たに追加されたパラメータをKVに影響を与えない領域に配置する。 推論中、プレフィルKVはモデルの小さな部分のみに依存するため、推論コストは削減される。
• 参考スコア（独自算出の注目度）: 33.03010589166713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling a language model is not only a question of final quality: the architectural choice determines how much computation is spent during training, prompt processing, and autoregressive decoding to achieve certain model quality. An ideal model architecture should lower all above computation costs to facilitate scaling to a larger model, while ensure the larger model indeed outperforms smaller baselines. We introduce KV-Invariant Transformer Expansion (KITE), a scaling paradigm that achieves this goal. It trains the model from a smaller size to a larger size (i.e., saving training costs via upcycling), while places newly added parameters in regions that do not affect attention KV. Consequently, during inference, prefilling KV only relies on the smaller part of the model, so the inference costs are saved. As a concrete instantiation, we present Step Scale Transformer (SST), a two-tower decoder in which one tower produces KV and the other reads them. At comparable cumulative training compute, SST, a 67B MoE model with 2.15B active body parameters per decode token, achieves lower training loss than 47B and 63B MoE Transformers with 1.48B and 2.02B active body parameters, respectively, while reducing estimated inference cost by 6.7% and 31.6%.
• Abstract（参考訳）: アーキテクチャの選択は、特定のモデル品質を達成するためにトレーニング、プロンプト処理、自動回帰デコーディングにどれだけの計算が費やされているかを決定する。 理想的なモデルアーキテクチャは、より大きなモデルへのスケーリングを容易にするため、計算コストを全て削減すると同時に、より大きなモデルが実際により小さなベースラインを上回ることを保証します。 我々は、この目標を達成するスケーリングパラダイムであるKV-Invariant Transformer Expansion(KITE)を紹介する。 より小さなサイズからより大きなサイズ(すなわち、アップサイクルによるトレーニングコストの削減)までモデルをトレーニングし、新たに追加されたパラメータをKVに影響しない領域に配置する。 したがって、予測中は、プレフィルKVはモデルの小さな部分のみに依存するため、推論コストを節約できる。 具体的なインスタンス化として,1つの塔がKVを生成し,もう1つの塔が読み取る2towerデコーダであるStep Scale Transformer(SST)を提案する。 同等の累積トレーニング計算では、67B MoEモデルがデコードトークン当たり2.15Bのアクティブボディパラメータを持ち、それぞれ1.48Bと2.02Bのアクティブボディパラメータを持つ47Bと63B MoEトランスフォーマーよりも低いトレーニング損失を達成し、推定推論コストを6.7%と31.6%削減する。

関連論文リスト

• A Universal Context-Reuse Layer for Cross-Model KV Sharing [7.914652203965336]
  我々は、ソースモデルによって生成されたKV状態を異なるターゲットモデルによって消費される表現に変換するエンフクロスモデルKV共有について検討する。 Qwen2.5-7B$rightarrow$ Qwen2.5-1.5Bの場合、翻訳されたKV状態はLongBench2の精度を27.59%から34.48%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。 クロスファミリーQwen2.5-1.5B$rightarrow$ Gemma-2-2B設定の場合、KVハンドオフは目標側のプリフィルコストを削減します。
  論文  参考訳（メタデータ） (2026-08-31T15:28:17Z)
• Event-Driven Language Models with Sparse Neural Activity for Neuromorphic Hardware [5.066906328188419]
  トランスフォーマーベースの大規模言語モデル(LLM)による推論は、メモリバウンドなKVキャッシュと二次的注意コストによって制限されることが多い。 本稿では,性能損失を最小限に抑えた重量子化線形アテンションモデルにおいて,スパースニューラルアクティビティを誘導する手法を提案する。
  論文  参考訳（メタデータ） (2026-08-31T08:28:01Z)
• Compact SO(3) Equivariant Atomistic Foundation Models via Structural Pruning [4.793059213046564]
  本稿では,SO(3)同変原子基盤モデルの構造解析法を提案する。 プルーニングはチャネルと順序次元に沿って適用され、各既約表現は完全なブロックとして保持または削除される。 プルーニングされたMACE-MPモデルは、マトベンチディスカバリーのリーダーボード上の9つの指標のうち7つで、公式のオフスクラッチトレーニングされた小さなモデルよりも優れています。
  論文  参考訳（メタデータ） (2026-05-09T11:07:03Z)
• Compressing Transformer Language Models via Matrix Product Operator Decomposition: A Case Study on PicoGPT [0.0]
  トランスフォーマーベースの言語モデルは、NLPタスク間で強力なパフォーマンスを実現するが、その2次パラメータスケーリングは、リソース制約のあるハードウェアへのデプロイを高くする。 変圧器の原理圧縮法として行列積演算子分解について検討する。 MPOは、重み行列を低ランクコアの鎖に分解し、近似品質は結合次元chiによって制御される。
  論文  参考訳（メタデータ） (2026-03-30T14:57:47Z)
• MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
  MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。 1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
  論文  参考訳（メタデータ） (2026-02-12T09:37:05Z)
• SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer [49.1761733723771]
  本稿では,テキスト・画像生成における効率的なスケーリングを実現する線形拡散変換器であるSANA-1.5を提案する。 効率的なトレーニングスケーリング、モデルの深さ決定、推論時間スケーリングの3つの重要なイノベーションを紹介します。 これらの戦略により、SANA-1.5 は GenEval 上のテキスト計算画像アライメントスコア 0.81 を達成し、VILA-Judge による推論スケーリングにより、さらに 0.96 に改善できる。
  論文  参考訳（メタデータ） (2025-01-30T15:31:48Z)
• TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters [102.1116808722299]
  TokenFormerは、Transformerをスケールするためのスケーラブルなアーキテクチャです。 モデルパラメータをトークンとして扱うことで、トランスフォーマーのすべての線形射影を置き換える。 我々のモデルは、新しいキー値パラメータペアを漸進的に追加することで、124Mから1.4Bパラメータにスケールする。
  論文  参考訳（メタデータ） (2024-10-30T16:19:00Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers [94.43313684188819]
  本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。 まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。 これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
  論文  参考訳（メタデータ） (2020-02-26T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。