論文の概要: FreeSolo: Linear-time Sparse Attention with Zero-Shot Length Extrapolation

• arxiv url: http://arxiv.org/abs/2610.17191v1
• Date: Mon, 12 Oct 2026 17:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.432755
• Title: FreeSolo: Linear-time Sparse Attention with Zero-Shot Length Extrapolation
• Title（参考訳）: FreeSolo:ゼロショット長外挿によるリニアタイムスパース注意
• Abstract要約: FreeSoloは、ショートレンジスライディングウィンドウブランチと、キーポイントセルを選択してトークンアテンションを直接選択するロングレンジブランチを備えた、ネイティブなスパースアテンションメカニズムである。 FS-Lは、短いCPTによってクエリ依存の選択の前にプレフィックスを熟成することを学ぶ。 FS-Bは、ラディックスソート構成を含むアルゴリズムコスト$O(Nlog2N)$のバランス木を探索する。
• 参考スコア（独自算出の注目度）: 7.732679926711732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear-time sequence models typically store long-context information in a recurrent state. A fixed-size state limits how much information can be stored, while hybrid architectures that add full attention for better recall incur quadratic sequence cost. Alternatively, sparse attention with continued pretraining (CPT) can extend the effective context length. Generalization beyond the trained length remains challenging, however, and CPT can be costly. We introduce FreeSolo, a native sparse attention mechanism with a short-range sliding window branch and a long-range branch that selects keypoint cells for direct token attention. Its linear-time variant, FS-L, learns to prune the prefix before query-dependent selection through short CPT. FS-B searches balanced trees with $O(N\log^2 N)$ algorithmic cost including radix-sort construction. FreeSolo demonstrates better zero-shot length extrapolation than the baselines without long-context fine-tuning.
• Abstract（参考訳）: 線形時間シーケンスモデルは通常、長いコンテキスト情報を繰り返し状態に格納する。 固定サイズ状態は、どれだけの情報を格納できるかを制限するが、ハイブリッドアーキテクチャは、適切な2次シーケンスコストのリコールに十分な注意を払っている。 あるいは、継続事前訓練(CPT)によるスパースアテンションは、有効コンテキスト長を拡張することができる。 しかし、訓練された長さを超える一般化は依然として困難であり、CPTはコストがかかる可能性がある。 ショートレンジスライディングウィンドウブランチと、キーポイントセルを選択してトークンアテンションを直接選択するロングレンジブランチを備えた、ネイティブスパースアテンション機構であるFreeSoloを紹介した。 その線形時間変種FS-Lは、短いCPTを通してクエリ依存の選択の前にプレフィックスを熟成することを学ぶ。 FS-Bは、ラディックスソート構成を含むアルゴリズムコスト$O(N\log^2N)$のバランス木を探索する。 FreeSoloは、長いコンテキストの微調整なしで、ベースラインよりもゼロショット長の補間が優れている。

関連論文リスト

• SMat-Attention: Structured Long-Context Sequence Modeling [1.9957857885844834]
  構造的行列注意(SMat-Attention)を、構造的長距離ルーティングを持つ因果マスク群を介して導入する。 SMat-Attentionは、VC次元をアクセスパターンの複雑さ、プリフィルコスト、メモリのデコードを管理する明示的なノブにする。 Mamba-2とGated DeltaNetの拡張は、トップ$kのクエリで学習したルーティングを使用して、サブクワッドラティックなプリフィルを保持する。
  論文  参考訳（メタデータ） (2026-09-28T18:18:41Z)
• Sharp Oracle-Regret Tradeoffs for Projection-Free Online Convex Optimization [55.29259818039367]
  我々は, オンライン凸最適化において, 実現可能な集合へのアクセスが正確な線形最適化オラクルに制限された場合に達成可能な後悔を特徴づける。 コンベックス$G$-Lipschitzの損失に対して、直径は最大$D$、合計$Q$オークルコールは$Q$、厳格な制限はラウンド当たり$B$である。
  論文  参考訳（メタデータ） (2026-09-23T22:25:52Z)
• Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory [7.4750926696730895]
  Najuはリカレント更新を、スキーマ的に$x_n = f_nodot x_n-1 + i_nodot(B_n u_n)$に分解する。 ナジュは、強い長距離メモリと競争力や優れたパフォーマンスを一貫して組み合わせている。
  論文  参考訳（メタデータ） (2026-07-23T07:34:07Z)
• Don't Read Everything: A Curvature-Conditioned Query for Linear Attention [42.02790959450039]
  リニアアテンションは、繰り返し発生する高速な状態を維持することでソフトマックスアテンションの二次コストを低減する。 既存のリメディエーションは、ゲーティング、デルタ更新、カーネル機能マップを通じて、メモリの書き込み側に作用する。 我々は、より安価なクエリの読み取り時間縮約を構築するために、Softmaxの幾何学の特定の部分を借りる。 このメカニズムを Curvature-Conditioned Query (CCQ) と呼ぶ。 S-NIAHはトレーニングコンテキストの前後でのパープレキシティ、ゼロショットダウンストリーム精度、S-NIAH検索、4Kから20Kまでの長さのパープレキシティ、Longを改善する
  論文  参考訳（メタデータ） (2026-05-31T15:25:42Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• Slow-Fast Inference: Training-Free Inference Acceleration via Within-Sentence Support Stability [61.28049899686214]
  本稿では,生成を低コストの高速ステップと時折高密度の低速ステップに分解する,学習不要な復号化フレームワークを提案する。 評価されたコンテキスト長全体にわたって、SFIは約1.6times$--14.4times$高い復号スループットを提供する。
  論文  参考訳（メタデータ） (2026-03-12T15:14:48Z)
• Length-Adaptive Interest Network for Balancing Long and Short Sequence Modeling in CTR Prediction [50.094751096858204]
  LAINは、長いシーケンスと短いシーケンスのモデリングのバランスをとるために、シーケンス長を条件信号として組み込んだプラグアンドプレイフレームワークである。 私たちの仕事は、シーケンシャルなレコメンデーションにおいて、長さによるバイアスを軽減する、汎用的で効率的でデプロイ可能なソリューションを提供します。
  論文  参考訳（メタデータ） (2026-01-27T03:14:20Z)
• Training Long-Context LLMs Efficiently via Chunk-wise Optimization [60.05884946552877]
  textitSequential Chunk-wise Optimization (SeCO) は、長い入力を管理可能なチャンクに分割するメモリ効率の訓練パラダイムである。 textitSparse Chunk-wise Optimization (SpaCO)を導入し、特定のチャンクへの勾配を選択的に伝播することで計算オーバーヘッドを削減する。 SpaCOは、コンテキスト長からバックプロパゲーションの計算コストを分離し、シーケンスが長くなるにつれて、トレーニング時間が徐々に推論時間に収束することを可能にする。
  論文  参考訳（メタデータ） (2025-05-22T14:11:34Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。