Fugu-MT 論文翻訳(概要): FLARE++: Low-rank attention with dynamic attention routing

論文の概要: FLARE++: Low-rank attention with dynamic attention routing

arxiv url: http://arxiv.org/abs/2608.11519v1
Date: Wed, 12 Aug 2026 00:16:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-13 19:07:54.406557
Title: FLARE++: Low-rank attention with dynamic attention routing
Title（参考訳）: FLARE++: ダイナミックアテンションルーティングによる低ランクアテンション
Abstract要約: 完全自己アテンションは不規則領域上のPDEサロゲートに対する強力なトークンミキサーであるが、その2次コストは高分解能問題に対する使用を制限する。 FLARE(Fast Low-rank Attention Engine)のような効率的な潜入型モデルでは、学習した潜入型クエリを通じてすべてのNトークンをルーティングすることで、そのコストを回避することができる。 FLARE++は動的トークンルーティングを備えた低ランクアテンションアーキテクチャである。
参考スコア（独自算出の注目度）: 1.2425910171551517
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Full self-attention is a strong token mixer for PDE surrogates on irregular domains, but its quadratic cost limits its use on high-resolution problems. Efficient latent-attention models such as the Fast Low-rank Attention Routing Engine (FLARE) avoid that cost by routing all N tokens through M << N learned latent queries, but those queries are parameters: once trained, the same learned query templates serve every input. We remove this restriction with FLARE++, a low-rank attention architecture with dynamic token routing. FLARE++ reuses FLARE's own encoder to build its routing queries: learned latent seeds drive one extra encode call that gathers the N input tokens into M input-conditioned queries, and those queries then determine how the same tokens are compressed and redistributed. This preserves FLARE's explicit low-rank factorization and linear O(NM) complexity, and expresses the complete routing operation with standard scaled dot-product attention (SDPA) calls alone. We also provide a multi-GPU context-parallel implementation that shards input tokens across devices without ever gathering the full token sequence on one of them. FLARE++ is competitive across a set of standard PDE surrogate benchmarks, improving on fixed-query FLARE by 24% on average, and it gains 2.3 points of average accuracy on Long Range Arena.
Abstract（参考訳）: 完全自己アテンションは不規則領域上のPDEサロゲートに対する強力なトークンミキサーであるが、その2次コストは高分解能問題に対する使用を制限する。 FLARE(Fast Low-rank Attention Routing Engine)のような効率的な潜伏型モデルでは、M<<N>学習された潜伏型クエリを通じてすべてのNトークンをルーティングすることで、そのコストを回避するが、これらのクエリはパラメータである。 FLARE++は動的トークンルーティングを備えた低ランクアテンションアーキテクチャである。 FLARE++は、FLARE独自のエンコーダを再利用してルーティングクエリを構築する: 学習済みのシードは、N入力トークンをM入力条件のクエリに収集する1つの余分なエンコーダコールを駆動し、それらのクエリは、どのように同じトークンが圧縮され、再配布されるかを決定する。これにより、FLAREの明示的な低ランク分解と線形O(NM)複雑性が保たれ、SDPA(Standard Scaled dot-product attention)コールだけで完全なルーティング操作が表現される。また、デバイス間で入力トークンをシャーディングするマルチGPUコンテキスト並列実装も提供しています。 FLARE++は標準的なPDEサロゲートベンチマークと競合し、固定クエリのFLAREを平均で24%改善し、Long Range Arenaの平均精度は2.3ポイント向上した。

関連論文リスト

LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
論文参考訳（メタデータ） (2026-07-30T09:59:25Z)
How Does Reasoning Flow? Tracing Attention-Induced Information Flow for Targeted RL in LLMs [52.712343092801326]
FlowTracerは、注意重み付き非巡回グラフ上で回答対象の推論フローをトレースするRLフレームワークである。フロースループットによってトークンをスコアし、長期依存を仲介するハイインパクトなハブとアグリゲーションチェックポイントを明らかにする。これらの重要度はトークンレベルの報酬を形成するために使用され、学習信号は正しい回答に向けて情報をルーティングするトークンに正確に焦点を合わせることができる。
論文参考訳（メタデータ） (2026-06-09T09:56:51Z)
LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文参考訳（メタデータ） (2026-06-03T06:07:33Z)
Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。この定式化がモデリングのボトルネックを生み出すことを示す。コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
論文参考訳（メタデータ） (2026-05-14T18:30:10Z)
TIDE: Every Layer Knows the Token Beneath the Context [21.609102126208608]
本稿では,標準トランスフォーマーを EmbeddingMemory で拡張する TIDE を提案する。我々は、TIDEの利点を理論的かつ実証的に確立し、シングルトークンID注入に関連する問題に対処する。
論文参考訳（メタデータ） (2026-05-07T13:16:18Z)
DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
論文参考訳（メタデータ） (2026-03-09T07:02:01Z)
Residual Context Diffusion Language Models [90.07635240595926]
Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
論文参考訳（メタデータ） (2026-01-30T13:16:32Z)
DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning [6.468843780300177]
モデル精度を犠牲にすることなく計算効率を向上する訓練不要なスパースアテンション機構である textbfDELTA を提案する。この結果から,中間注意マップの選択的再利用は,より効率的な長文推論への頑健な道を提供することが示された。
論文参考訳（メタデータ） (2025-10-10T21:37:49Z)
SparseD: Sparse Attention for Diffusion Language Models [98.05780626106555]
拡散言語モデル(DLM)は自己回帰モデル(AR)に代わる有望な代替手段を提供する既存のオープンソースDLMは、高い推論遅延に悩まされている。 DLMのための新しいスパースアテンション手法であるスパースDを提案する。
論文参考訳（メタデータ） (2025-09-28T18:10:10Z)
FLARE: Fast Low-rank Attention Routing Engine [2.9498261840961777]
Fast Low-rank Attention Engine (FLARE) は、固定長の待ち行列を通して注意を誘導する線形複雑自己注意機構である。 FLAREは前例のない問題のサイズにスケールするだけでなく、最先端のニューラルPDEサロゲートよりも精度が高い。
論文参考訳（メタデータ） (2025-08-18T03:00:55Z)
Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
論文参考訳（メタデータ） (2025-01-07T17:00:49Z)
A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。 HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。 HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
論文参考訳（メタデータ） (2024-06-14T08:32:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。