論文の概要: Multi-State Linear Attention with Generalized Second-Order Routing

• arxiv url: http://arxiv.org/abs/2610.37645v1
• Date: Tue, 27 Oct 2026 17:55:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.739546
• Title: Multi-State Linear Attention with Generalized Second-Order Routing
• Title（参考訳）: 一般化された2次ルーティングによる多状態線形アテンション
• Abstract要約: 自己注意は、長いシーケンスモデリングにおいて重要な役割を果たすが、その二次的時間複雑性は、大規模言語モデルのスケーリングを制限する。 本稿では,各セグメントのキーの1と2のモーメントを追跡する手法であるMERLINを提案する。 Gated DeltaNet-1.3B と Mamba-2-780M の多状態変種に関する実験は、MERLIN が既存のアグリゲーション法を一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 46.58885460104676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-attention plays a key role in long-sequence modeling, but its quadratic time complexity fundamentally limits the scaling of Large Language Models. Recently, Multi-State Linear Attention (MSLA) mechanisms have been proposed to make sequence modeling more efficient by splitting the context into segments and compressing each in its own memory state. MSLA aggregates the information extracted from each memory state using only the mean alignment between a query and each segment's keys, ignoring how the alignment is distributed within the segment. In order to model the relevance of a segment to a query more comprehensively and incorporate the variance of the alignment in the aggregation, we propose MERLIN (MomEnt Routing for multi-state LINear attention), a method that tracks the first and second moments of each segment's keys. Using the moments of keys, a query can recover both the mean and the variance of its alignment with each segment to perform a more content-aware aggregation of per-state readouts. Experiments on multi-state variants of Gated DeltaNet-1.3B and Mamba-2-780M show that MERLIN consistently outperforms existing aggregation methods on various long-context tasks. In particular, MERLIN outperforms baselines on RULER needle-in-a-haystack and long-context QA (+8.3% for Gated DeltaNet-1.3B and +7.0% for Mamba-2-780M) and diverse subtasks in LongBench (+13.5% and +12.0%). It even outperforms baselines that consume 4x more memory. MERLIN provides a simple and general routing mechanism for improving long-context capabilities of MSLA models.
• Abstract（参考訳）: 自己注意は、長いシーケンスモデリングにおいて重要な役割を果たすが、その二次的時間複雑性は、大言語モデルのスケーリングを根本的に制限する。 近年,MSLA(Multi-State Linear Attention)機構は,コンテキストをセグメントに分割し,それぞれをメモリ状態に圧縮することで,シーケンスモデリングをより効率的にするための機構として提案されている。 MSLAは、クエリとセグメントのキー間の平均アライメントのみを使用して、各メモリ状態から抽出された情報を集約し、セグメント内でアライメントがどのように分散されるかを無視します。 セグメントのクエリに対する関連性をより包括的にモデル化し、アグリゲーションにおけるアライメントの分散を組み込むために、各セグメントのキーの第1および第2モーメントを追跡する手法であるMERLIN(MomEnt Routing for multi-state LINear attention)を提案する。 キーのモーメントを使うことで、クエリは各セグメントへのアライメントの平均と分散の両方を回復し、ステート単位の読み込みのよりコンテント対応のアグリゲーションを実行することができる。 Gated DeltaNet-1.3B と Mamba-2-780M の多状態変種に関する実験は、MERLIN が様々な長文タスクにおいて既存の集約方法より一貫して優れていることを示している。 特に、MERLINはRULERの針-in-a-haystackと長文QA(Gated DeltaNet-1.3Bは+8.3%、Mamba-2-780Mは+7.0%)とLongBenchの様々なサブタスク(+13.5%と+12.0%)のベースラインより優れている。 さらに、4倍のメモリを消費するベースラインよりも優れています。 MERLINは、MSLAモデルの長文機能を改善するためのシンプルで一般的なルーティングメカニズムを提供する。

関連論文リスト

• A Broader Look at Model Merging: Rethinking Implicit Regularization Induced by Task Arithmetic [65.83135376894784]
  本研究は,タスク固有の重み更新によって分散された部分空間に対して,候補モデルの探索が制限されるかどうかを考察する。 驚くべきことに、この正規化を伴わないマージモデルウェイトを最適化することで、一般的なマージ法の性能が向上することを示す実験結果が得られた。 この研究は、既存のモデル統合パイプラインを再考し、ウェイト空間のより広範な探索と、タスク算術によって誘導される暗黙の正規化の再考を動機付けている。
  論文  参考訳（メタデータ） (2026-10-06T08:49:40Z)
• MuSeR: Scalable Long-sequence Recommendation with Multi-interest Modeling [18.87619121540462]
  Multi-interest Sequence Representation (MuSeR)は、MGSシステム上に構築された検索フレームワークである。 MuSeRは、強いロングシーケンスとマルチ関心ベースラインに対して、一貫してRecall@$K$を改善している。 Baidu APPのホームページフィード、ディスカバリフィード、ショートビデオシナリオに対するオンラインのA/Bテストでは、MuSeRは毎日のアクティブユーザを0.26%、セッション総期間を0.89%も得ている。
  論文  参考訳（メタデータ） (2026-09-20T14:36:07Z)
• MVFA: A Multi-View Text-Guided Multimodal Fusion LLM Adapter for Sentiment Analysis and Emotion Recognition [104.40097283944003]
  本稿では,マルチビューテキスト誘導型マルチモーダルフュージョンアダプタ(MVFA)を提案する。 MVFAは、CH-SIMS V2.0、MELD、CHERMAの3つの挑戦的なデータセットで評価されている。 キーメトリクスの最先端のパフォーマンスを実現し、少数のパラメータだけを更新する。
  論文  参考訳（メタデータ） (2026-09-05T17:12:51Z)
• Skim and Skip: Hierarchical Adaptive Inference for Efficient Multimodal Retrieval [66.50180500995627]
  Skim and Skip (SAS) は効率的なマルチモーダル検索のための階層型適応推論フレームワークである。 SASは、最終検索埋め込みに最も関係のある入力情報のみを保持するためにトークンレベルのエビデンス選択を行う。 12個のMMEB検索タスクの実験では、SASは密度の高いベースラインの平均検索性能の約99%を維持している。
  論文  参考訳（メタデータ） (2026-06-24T06:58:25Z)
• Towards Large Model Feature Coding [90.89390892560094]
  大規模モデル特徴符号化(LaMoFC)のためのベンチマークおよび評価フレームワークを提案する。 まず、機能データセットLaMoFCBenchを構築し、4つのカテゴリと16のシナリオで多様なタスク要件をカバーしました。 次に、実際の応用シナリオに従って代表分割点を指定し、中間的特徴を抽出する。
  論文  参考訳（メタデータ） (2026-05-20T13:39:48Z)
• Bayesian Model Merging [17.887004278413915]
  モデルマージは、複数のタスク固有のエキスパートモデルを、共同トレーニングなしで単一のモデルに結合することを目的としている。 本稿では,プラグインとプレイの双方向最適化フレームワークであるBayesian Model Merging (BMM)を紹介する。 BMMは、すべてのプラグアンドプレイアンカーベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-13T00:36:47Z)
• MAVIS: Multi-Objective Alignment via Value-Guided Inference-Time Search [12.710362645521466]
  我々は、値誘導推論時間探索による多目的アライメントMAVISを紹介する。 ベースモデルの重みを変更することなく、LCMの挙動を動的に制御できる。 また,MAVISは,対象物ごとの微調整のベースラインよりも優れており,ポストホックと組み合わせていることを示す。
  論文  参考訳（メタデータ） (2025-08-19T00:26:07Z)
• Multi-Level Aggregation and Recursive Alignment Architecture for Efficient Parallel Inference Segmentation Network [18.47001817385548]
  セグメンテーションタスク用にカスタマイズされた並列推論ネットワークを提案する。 実時間速度を確保するために浅いバックボーンを使用し、モデル容量の削減と精度の向上のために3つのコアコンポーネントを提案する。 我々のフレームワークは、CityscapesとCamVidデータセットの最先端のリアルタイム手法よりも、速度と精度のバランスが良くなっている。
  論文  参考訳（メタデータ） (2024-02-03T22:51:17Z)
• EurNet: Efficient Multi-Range Relational Modeling of Spatial Multi-Relational Data [65.56348668962343]
  マルチレンジ・リレーショナル・モデリングのためのEurNetを提案する。 EurNetは、各タイプのエッジが短距離、中距離、長距離の空間的相互作用に対応するマルチリレーショナルグラフを構築する。 画像およびタンパク質構造モデリングにおいて,EurNetsを2つの重要な領域で研究する。
  論文  参考訳（メタデータ） (2022-11-23T13:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。