論文の概要: Continuum Attention

• arxiv url: http://arxiv.org/abs/2610.20586v1
• Date: Wed, 14 Oct 2026 17:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.296795
• Title: Continuum Attention
• Title（参考訳）: 連続的注意
• Abstract要約: 本稿では、因果変換器の注意演算子であるContinuum Attention(CA)を紹介する。 離散キーと値のルックアップを連続的、断片的な線形メモリ曲線上での統合に置き換える。 通常のソフトマックスとフォーカスアテンションと比較して、CAは平均バリデーション負のログ確率をそれぞれ0.0200と0.0480ナット削減する。
• 参考スコア（独自算出の注目度）: 0.16921396880325779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Continuum Attention (CA), a causal Transformer attention operator that replaces discrete key and value lookup with integration over a continuous, piecewise linear memory curve. Each query induces an exponential relevance density along the curve. Integrating the density and interpolated values yields exact normalized attention from closed form exponential moments, including half token boundary contributions. The gradients follow analytically from moments of order at most two, enabling parallel GPU implementations while retaining quadratic sequence complexity and the standard Transformer decoder. Compared with ordinary softmax and focal attention, CA reduces mean validation negative log likelihood by 0.0200 and 0.0480 nats per byte, respectively, winning all paired comparisons. An additional disjoint validation slice yields a 0.0457 nats per byte advantage over the strongest selected softmax baseline, with a paired 95% confidence interval. These findings motivate continuous integration as a promising attention alternative while leaving larger scale generalization open.
• Abstract（参考訳）: 本稿では、離散鍵と値のルックアップを連続的、断片的線形メモリ曲線上の積分に置き換える因果変換子アテンション演算子であるContinuum Attention (CA)を紹介する。 各クエリは、曲線に沿った指数的関係密度を誘導する。 密度と補間値を統合すると、半トークン境界寄与を含む閉形式指数モーメントから正確な正規化された注意が得られる。 勾配は2つの順序のモーメントから解析的に追従し、2次シーケンスの複雑さと標準のTransformerデコーダを維持しながら並列GPU実装を可能にする。 通常のソフトマックスとフォーカスアテンションと比較して、CAは平均検証負のログ確率を1バイトあたり0.0200と0.0480と減らし、全てのペア比較に勝利した。 さらなる不整合検証スライスにより、最強の選択されたソフトマックスベースラインよりも0.0457ナットの利点が得られ、95%の信頼区間が与えられる。 これらの発見は、より大きな一般化をオープンにしていながら、将来有望な注目の代替手段として継続的インテグレーションを動機付けている。

関連論文リスト

• Relative-Entropy Geometry and Convergence in Nonconvex Wiretap Optimization [42.71287663143178]
  セキュア通信における簡易性に関する非最適化問題に対して,エントロピー降下法を開発し,解析する。 チャネルアイデンティティを最適化した正確な相対反復は、独立な主収束を確立し、ステップとともに明確なミラー-蛍光性を確立する。 実験は複数の惹きつける値をもたらし、前処理による厳格な改善を実証する。
  論文  参考訳（メタデータ） (2026-10-13T17:35:33Z)
• Universality and Generalization of Causal Transformers Across Context Lengths [29.587685183870775]
  固定された正規化水平線をサンプリングする任意の長さの列に対して因果トークン・ツー・トケンマップを均一に近似できるかを検討した。 分解能間の連続性の概念は、長さに依存しないパラメータを持つ単一変圧器により、コンパクトな入力クラスに一様近似を許容する因果族を特徴づける。 物理時系列の実験は、データセット依存の適応指数を持つ観測スケールでのHlder-regularトークンモデルをサポートし、テキスト入力の埋め込みは対照的なケースを提供する。
  論文  参考訳（メタデータ） (2026-09-28T12:50:27Z)
• Pretraining Transformers with Quantized Softmax in Attention [0.8188935486482624]
  低精度トランスフォーマーシステムは注目行列乗算の定量化をますます進めている。 事前トレーニング中、近似ソフトマックスはモデルと前方の計算を訓練する勾配を変化させる。 我々は,ローグリッドのキャリブレーションごとのキャリブレーション,ハードラウンドリング,および正規化に対するストレートスルーサロゲートの配置が異なる。
  論文  参考訳（メタデータ） (2026-09-27T14:09:52Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• ATMA: Length-Invariant Language Modeling via Polar Attention and Gated-Delta Compression Memory [0.0]
  ATMAは、新しい3チャンネルアテンション機構を統合するハイブリッドな畳み込みアテンションアーキテクチャである。 また,120回のAblationスイープを用いてATMAの評価を行い,Pola + メモリモデルの組み合わせは誘導針-a-haystack検索精度を90%以上維持することを示した。
  論文  参考訳（メタデータ） (2026-06-23T20:43:51Z)
• In-Context Graphical Inference [9.39195684989942]
  正確な推論を正すシーケンシャルな消去構造を復元する自動回帰グラフ変換器を導入する。 TT圧縮誤差は, 自己回帰連鎖を通じてほとんどリンカリーに伝播し, ディリクレ・マルティノミカル損失は適切なスコアリング則であり, WCPは推定密度比で定量劣化した範囲を維持していることを証明した。
  論文  参考訳（メタデータ） (2026-06-03T16:04:00Z)
• Don't Read Everything: A Curvature-Conditioned Query for Linear Attention [42.02790959450039]
  リニアアテンションは、繰り返し発生する高速な状態を維持することでソフトマックスアテンションの二次コストを低減する。 既存のリメディエーションは、ゲーティング、デルタ更新、カーネル機能マップを通じて、メモリの書き込み側に作用する。 我々は、より安価なクエリの読み取り時間縮約を構築するために、Softmaxの幾何学の特定の部分を借りる。 このメカニズムを Curvature-Conditioned Query (CCQ) と呼ぶ。 S-NIAHはトレーニングコンテキストの前後でのパープレキシティ、ゼロショットダウンストリーム精度、S-NIAH検索、4Kから20Kまでの長さのパープレキシティ、Longを改善する
  論文  参考訳（メタデータ） (2026-05-31T15:25:42Z)
• Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention [0.0]
  標準的な注意力に欠ける2つの相補的帰納バイアスを同定する。 正当性と局所性は相補的帰納バイアスであり、それぞれが単独では満たせないギャップに対処する。 この超添加性は、2つの独立したトレーニングランで観察され、中心的な経験的発見である。
  論文  参考訳（メタデータ） (2026-05-25T22:04:31Z)
• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• BiGain: Unified Token Compression for Joint Generation and Classification [47.040577759493004]
  BiGainは、高速拡散モデルにおける分類を改善しながら、生成品質を保ちながら、トレーニング不要でプラグアンドプレイのフレームワークである。 我々の重要な洞察は周波数分離であり、これは大域的な意味論から細部を解き、生成的忠実さと識別的有用性の両方を尊重する圧縮を可能にする。 本分析は,拡散モデルにおけるトークン圧縮のための信頼性の高い設計規則として,高頻度の細部と低周波数のセマンティクスを保存したスペクトル保持が重要であることを示す。
  論文  参考訳（メタデータ） (2026-03-12T17:55:53Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。