論文の概要: Towards Sampling Data Structures for Tensor Products in Turnstile Streams

• arxiv url: http://arxiv.org/abs/2510.03678v1
• Date: Sat, 04 Oct 2025 05:16:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.188261
• Title: Towards Sampling Data Structures for Tensor Products in Turnstile Streams
• Title（参考訳）: 旋回流中におけるテンソル製品のデータ構造サンプリングに向けて
• Authors: Zhao Song, Shenghao Xie, Samson Zhou,
• Abstract要約: 本稿では,ストリーミング環境における重要サンプリング手法を用いて,人工知能における大規模注意モデルによる計算課題について検討する。 LLM (Large Language Models) における $ell$ sampler の古典的定義と近年の注目スキームの進展に着想を得て, 注目サンプルの定式化を提案する。
• 参考スコア（独自算出の注目度）: 25.755231152955307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the computational challenges of large-scale attention-based models in artificial intelligence by utilizing importance sampling methods in the streaming setting. Inspired by the classical definition of the $\ell_2$ sampler and the recent progress of the attention scheme in Large Language Models (LLMs), we propose the definition of the attention sampler. Our approach significantly reduces the computational burden of traditional attention mechanisms. We analyze the effectiveness of the attention sampler from a theoretical perspective, including space and update time. Additionally, our framework exhibits scalability and broad applicability across various model architectures and domains.
• Abstract（参考訳）: 本稿では,ストリーミング環境における重要サンプリング手法を用いて,人工知能における大規模注意モデルによる計算課題について検討する。 LLM(Large Language Models)における$\ell_2$ samplerの古典的定義と近年の注目スキームの進展に着想を得て,アテンション・サンプラーの定義を提案する。 本手法は従来の注意機構の計算負担を大幅に削減する。 我々は,空間や更新時間を含む理論的観点から,アテンションサンプリングの有効性を解析する。 さらに、我々のフレームワークは、様々なモデルアーキテクチャやドメインにまたがるスケーラビリティと幅広い適用性を示します。

関連論文リスト

• Efficient Attention Mechanisms for Large Language Models: A Survey [18.86171225316892]
  トランスフォーマーベースのアーキテクチャは、大規模言語モデルの一般的な計算バックボーンとなっている。 最近の研究は、効率的な注意機構の2つの主要なカテゴリを紹介している。 対照的に、スパースアテンションテクニックは、固定パターン、ブロックワイドルーティング、クラスタリング戦略に基づいて、選択されたトークンのサブセットに注意を限定する。
  論文  参考訳（メタデータ） (2025-07-25T18:08:10Z)
• SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
  天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。 伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。 本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:00:15Z)
• How Sparse Attention Approximates Exact Attention? Your Attention is Naturally $n^C$-Sparse [9.552839922307587]
  スパース注意(英: Sparse Attention)とは、標準的な注意計算と準四分法的な複雑性を近似する手法である。 KVキャッシュのプルーニング、スパースベースの高速注意、スパーストランスフォーマーといったテクニックのバリエーションは、効率的なLLM(Large Language Models)デプロイメントに広く利用されている。
  論文  参考訳（メタデータ） (2024-04-03T12:37:34Z)
• Interpreting and Improving Attention From the Perspective of Large Kernel Convolution [51.06461246235176]
  本稿では,LKCA(Large Kernel Convolutional Attention)について紹介する。 LKCAは、特にデータ制約のある設定において、様々な視覚的タスク間での競合性能を達成する。
  論文  参考訳（メタデータ） (2024-01-11T08:40:35Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Self-Attention Neural Bag-of-Features [103.70855797025689]
  我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。 本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
  論文  参考訳（メタデータ） (2022-01-26T17:54:14Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Data-Informed Global Sparseness in Attention Mechanisms for Deep Neural Networks [33.07113523598028]
  本研究では,アテンション・プルーニング(Attention Pruning,AP)を提案する。 APは、言語モデリングの注意計算の90%を節約し、機械翻訳とGLUEタスクの約50%を節約し、結果の品質を維持している。
  論文  参考訳（メタデータ） (2020-11-20T13:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。