論文の概要: RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention

• arxiv url: http://arxiv.org/abs/2607.21927v1
• Date: Fri, 24 Jul 2026 03:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.036817
• Title: RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention
• Title（参考訳）: RIS-Kernel:スパースアテンションによる長期LLM推論のためのモデル非依存アーキテクチャ
• Abstract要約: 大規模言語モデルにおける完全自己注意は、O(N2)としてスケールする Reduced Interaction Smpling (RIS) 推論エンジンは、モデルに依存しないアーキテクチャとして、この制約に対処する。 RISは、コモディティメモリの限界に収まるスパース幾何学を用いて、自己注意の複雑さをO(N2)に還元する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Full self-attention in large language models scales as O(N^2), which limits long-context document analysis to 65,536 tokens and requires costly GPU clusters. The Reduced Interaction Sampling (RIS) inference engine addresses this constraint as a model-agnostic architecture. Without modifying weights, RIS reduces self-attention complexity to O(N log N) using sparse stochastic geometry that fits within commodity memory limits. We validate RIS on Qwen2-1.5B-Instruct across two regimes. In controlled evaluations at 32,768 tokens (where native dense attention serves as the upper bound), RIS-Stochastic at 1% density and 70 ensemble seeds achieves 75.00% accuracy, outperforming the native dense baseline (71.88%), while RIS-Stochastic at 5% density and 10 seeds matches it (71.88%). This demonstrates that sparse attention acts as a regularizer: low density (1%) over multiple seeds filters out sequence-level noise, whereas higher density (5%) reintroduces distractor noise. Under the tightest budget, RIS-Structural reaches 68.75% accuracy at 1% density with just 10 seeds, recovering 75% of the contextual gap relative to the zero-context floor (59.38%). At 65,536 tokens, where dense attention triggers out-of-memory faults, RIS yields retrieval gains of up to 14.06 percentage points over the zero-context floor (51.56%), which is confirmed as marginally significant under McNemar's paired test (p = 0.078 < 0.10). All evaluations run on commodity, unaccelerated CPU servers (16-128 GB of RAM), demonstrating that long-context LLM inference is feasible on standard academic hardware without GPU acceleration.
• Abstract（参考訳）: 大規模言語モデルにおける完全な自己注意は、O(N^2)としてスケールし、長文の文書分析を65,536トークンに制限し、GPUクラスタのコストがかかる。 Reduced Interaction Smpling (RIS) 推論エンジンはこの制約をモデルに依存しないアーキテクチャとして扱う。 RISは重みを変更することなく、コモディティメモリ限界内に収まるスパース確率幾何学を用いて自己注意複雑性をO(N log N)に還元する。 RISをQwen2-1.5B-Instruct上で2つの体制で検証する。 32,768個のトークンで制御された評価では、密度1%でRIS-Stochastic、密度71.88%でRIS-Stochastic、密度5%でRIS-Stochastic、密度71.88%でRIS-Stochasticと一致している。 低い密度 (1%) は配列レベルのノイズを除去するが、高い密度 (5%) は障害ノイズを再導入する。 最も厳しい予算の下で、RIS-Structuralは、1%の密度でわずか10の種子で68.75%の精度に達し、ゼロコンテキストフロア(59.38%)に対する文脈的ギャップの75%を回復した。 65,536個のトークンにおいて、深い注意がメモリ外障害を引き起こすと、RISはゼロコンテキストフロア(51.56%)で最大14.06ポイントの回収率を得る(p = 0.078 < 0.10)。 すべての評価はコモディティな非アクセラレーションCPUサーバ(16-128GBのRAM)で実行され、GPUアクセラレーションなしで標準の学術ハードウェアで長期間のLLM推論が実現可能であることを示す。

関連論文リスト

• Nyström Attention Matches Full Attention for Cross-Sectional Stock Prediction [0.0]
  MASTERの車種間マルチヘッドはモデルパラメータの42.5%、予測値の25%を占めている。 学習された注意は、ほぼ一様(複雑度278/300)であるが、厳密な均一性は、すべての断面的差別を排除している。
  論文  参考訳（メタデータ） (2026-09-08T01:34:53Z)
• RoRA: Role-Oriented Regional Allocation for Visual Token Pruning in MLLMs [50.93650157115467]
  本稿では,ロール指向の地域的エビデンスアロケーションとして視覚トークンプルーニングをキャストする,トレーニングフリーのフレームワークであるRoRAを紹介する。 整合した予算の下では、RoRAはLLaVAやQwen-VLファミリで、トレーニングなしの強力なベースラインを一貫して上回っている。 66.7%のプルーニング比で、RoRAはトークンの選択に0.7msしか必要とせず、エンドツーエンドの推論時間を24.6%削減する。
  論文  参考訳（メタデータ） (2026-08-07T10:39:47Z)
• LCMamNet: A Lightweight Cross-scale Mamba Network for Infrared Small Target Detection [53.811713750107934]
  赤外線小ターゲット検出のための軽量クロススケールマンバネットワークであるLCMamNetを提案する。 十字形指向性ボトルネック残差ブロックを有するコンパクト階層型エンコーダは、指向性ターゲット構造を強化する。 IRSTD-1k、NUAA-SIRST、NUDT-SIRSTの実験では、提案したネットワークがそれぞれ71.25%、79.60%、95.58%のmIoUスコアを達成した。
  論文  参考訳（メタデータ） (2026-07-27T09:06:14Z)
• Ternary Decision Trees with Locally-Adaptive Uncertainty Zones [0.0]
  3次決定木は、最適しきい値を中心とする半幅デルタの不確かさゾーンを持つ各分割ノードを増大させる。 デルタは、標準のCART分割探索時に既に利用可能な統計から各ノードでローカルに計算される。 デルタ推定手法として,品質プレート,クラスオーバーラップ,ゲイン比,ノードブートストラップ,マージンの5つを評価した。
  論文  参考訳（メタデータ） (2026-05-21T17:11:19Z)
• Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
  大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。 既存のアプローチは、ゼロから完全なモデル実装を生成します。 我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
  論文  参考訳（メタデータ） (2026-05-06T13:32:05Z)
• GLANCE: Gaze-Led Attention Network for Compressed Edge-inference [10.229095428511654]
  AR/VRシステムにおけるリアルタイムオブジェクト検出は、厳格な電力予算内で10ms未満のレイテンシを必要とする、計算上の重要な制約に直面している。 生体の葉の視覚にインスパイアされた2段階のパイプラインを提案する。このパイプラインは、異なる重みのないニューラルネットワークを組み合わせ、超効率的な視線推定と、注意誘導された関心の領域検出を行う。
  論文  参考訳（メタデータ） (2026-03-16T15:52:52Z)
• Gated Sparse Attention: Combining Computational Efficiency with Training Stability for Long-Context Language Models [0.0]
  Gated Sparse Attention (GSA)はスパースとゲートの双方の利点を実現するアーキテクチャである。 GSAは、有界で解釈可能な選択スコアを生成するシグモイドアクティベーションを備えたゲート雷インデクサを組み込んでいる。
  論文  参考訳（メタデータ） (2026-01-12T20:33:39Z)
• Quantum King-Ring Domination in Chess: A QAOA Approach [2.7474031534471384]
  量子キングリング・ドミネーション(Quantum King-Ring Domination、QKRD)は、チェスの戦術的位置から派生したNISQスケールのベンチマークである。 我々はQAOA設計選択を体系的に評価し、制約保存ミキサーが標準ミキサーよりも約13ステップ早く収束していることを見出した。 内在的検証では、QAOAはグリーディを12.6%、ランダム選択を80.1%上回っている。
  論文  参考訳（メタデータ） (2026-01-01T11:59:40Z)
• NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
  この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。 我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。 提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
  論文  参考訳（メタデータ） (2025-05-28T20:43:10Z)
• Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
  本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。 鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
  論文  参考訳（メタデータ） (2025-04-21T22:29:02Z)
• SINF: Semantic Neural Network Inference with Semantic Subgraphs [3.767257257405998]
  本稿では,新しい識別能力スコア(DCS)に基づくディープニューラルネットワーク(DNN)における意味的部分グラフを生成するセマンティック推論(SINF)を提案する。 CIFAR100とImageNetデータセットのサブセットを用いて訓練したVGG16,VGG19,ResNet50 DNNの性能評価を行った。
  論文  参考訳（メタデータ） (2023-10-02T14:51:10Z)
• Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together! [100.19080749267316]
  Sparsity May Cry"ベンチマーク(SMC-Bench)は、慎重に計算された4つのタスクと10のデータセットのコレクションである。 SMC-Benchは、よりスケーラブルで一般化可能なスパースアルゴリズムの開発を奨励するように設計されている。
  論文  参考訳（メタデータ） (2023-03-03T18:47:21Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。