論文の概要: Trading Complexity for Expressivity Through Structured Generalized Linear Token Mixing
- arxiv url: http://arxiv.org/abs/2605.31367v1
- Date: Fri, 29 May 2026 14:38:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.670789
- Title: Trading Complexity for Expressivity Through Structured Generalized Linear Token Mixing
- Title（参考訳）: 構造化一般化線形トケミキシングによる表現性のトレーディング複素性
- Abstract要約: トケン混合層は、言語モデルが長距離依存を学習し、生成する方法において重要な役割を果たす。
本稿では,2つの重要な特徴を分離した統合フレームワークにより,新たなトレードオフを検討する。
- 参考スコア（独自算出の注目度）: 47.26959210159516
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Token mixing layers play a key role in how language models can learn and generate long-range dependencies. Their efficiency relies on the necessary trade-off between decoding speed and the memory requirements, along with the cache size. Considering causal generation, this paper explores new trade-offs thanks to a unified framework which separates two crucial features: (i) the direct influence of inputs on outputs in one generation step; (ii) the recurrent propagation of information through past outputs. This framework encompasses major architectures such as attention and state-space models, but also generalizes the recurrence equations by allowing each state to depend on multiple past states rather than only the immediate predecessor. By introducing structure, we design new recurrence patterns that provably achieve the desired complexity, while providing theoretical insights on their expressivity -- trading runtime for expressivity in a principled way. Empirical validation is performed on synthetic tasks, along with language modeling. Together, these results provide a unified toolkit for the understanding and design of efficient and expressive token mixers across model families.
- Abstract（参考訳）: トケン混合層は、言語モデルが長距離依存を学習し、生成する方法において重要な役割を果たす。
その効率性は、デコード速度とメモリ要求とのトレードオフとキャッシュサイズに依存する。
本稿では,因果関係の生成を考慮し,二つの重要な特徴を分離した統合フレームワークにより,新たなトレードオフを探求する。
一 第一世代における出力に対する入力の直接的な影響
(ii)過去の出力による情報の繰り返し伝搬
このフレームワークは、注意や状態空間モデルのような主要なアーキテクチャを含むだけでなく、各状態が直接の先行状態だけでなく、複数の過去の状態に依存することを許すことによって、再帰方程式を一般化する。
構造を導入することで、所望の複雑さを確実に達成する新しい反復パターンを設計し、その表現性に関する理論的洞察を提供する。
経験的検証は、言語モデリングとともに合成タスクで実行される。
これらの結果は、モデルファミリをまたいだ効率的で表現力豊かなトークンミキサーの理解と設計のための統一されたツールキットを提供する。
関連論文リスト
- UniT: Unified Multimodal Chain-of-Thought Test-time Scaling [85.590774707406]
統一モデルは単一のアーキテクチャ内でマルチモーダル理解と生成の両方を扱うことができるが、通常は出力を反復的に書き換えることなく単一のパスで操作する。
マルチモーダルなテストタイムスケーリングのためのフレームワークであるUniTを導入し、単一の統一モデルで複数のラウンドをまたいだ推論、検証、精査を可能にします。
論文 参考訳（メタデータ） (2026-02-12T18:59:49Z) - Understanding and Improving Length Generalization in Hierarchical Sparse Attention Models [33.99822400076112]
チャンクに基づくスパースアテンションは、極端な長さの一般化のための有望なパラダイムとして現れている。
本稿では,これらのモデルを体系的に分解し,その性能を駆動するコアコンポーネントを同定する。
我々は、4KコンテキストでトレーニングされたモデルをRULERとBABILongで3200万トークンに一般化し、トレーニング不要な長さ外挿のための新しい最先端技術を確立した。
論文 参考訳（メタデータ） (2025-10-20T06:17:57Z) - Deconstructing Attention: Investigating Design Principles for Effective Language Modeling [37.92951508140559]
トランスフォーマー言語モデルは、ドット積の注意機構によって広く評価されている。
この研究は、これらの原則を緩和する制御された変種を設計することで、注意を体系的に分解する。
驚くべきことに、単独で失敗する変種でさえ、標準的な注意を引いた時に堅牢なパフォーマンスを達成することができる。
論文 参考訳（メタデータ） (2025-10-13T16:42:14Z) - Rethinking Transformer Connectivity: TLinFormer, A Path to Exact, Full Context-Aware Linear Attention [0.0]
本稿では,新しいリニアアテンションアーキテクチャ-textbfTLinFormerを提案する。
ニューロン接続パターンを再構成することにより、TLinFormerは正確な注意スコアを計算しながら厳密な線形複雑性を実現する。
TLinFormerは,textbfinference遅延, textbfKVキャッシュ効率, textbfMemoryフットプリントといった重要な指標において,圧倒的な優位性を示すことを示す。
論文 参考訳（メタデータ） (2025-08-28T04:10:19Z) - Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。
本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。
残る技術的課題や倫理的考察も分析する。
論文 参考訳（メタデータ） (2025-06-05T05:42:27Z) - Token Reduction Should Go Beyond Efficiency in Generative Models -- From Vision, Language to Multimodality [29.531450446701175]
本稿では, トークン削減は, 大規模生成モデルの時代において, 従来の効率重視の役割を超越すべきであると主張する。
トークンの削減は、より深いマルチモーダル統合とアライメントを促進し、長い入力に対するコヒーレンスを維持し、トレーニングの安定性を高めることができると我々は主張する。
我々は、アルゴリズム設計、強化学習誘導トークン削減、文脈内学習のためのトークン最適化、より広範なMLおよび科学領域を含む将来的な方向性について概説する。
論文 参考訳（メタデータ） (2025-05-23T11:30:30Z) - Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
「我々は、テキスト・メモリ利用の尺度を策定する。」
この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
論文 参考訳（メタデータ） (2025-04-28T08:12:30Z) - EnriCo: Enriched Representation and Globally Constrained Inference for Entity and Relation Extraction [3.579132482505273]
結合実体と関係抽出は、特に知識グラフの構築において、様々な応用において重要な役割を担っている。
既存のアプローチはしばしば、表現の豊かさと出力構造におけるコヒーレンスという2つの重要な側面に欠ける。
本研究では,これらの欠点を緩和するEnriCoを紹介する。
論文 参考訳（メタデータ） (2024-04-18T20:15:48Z) - Real-World Compositional Generalization with Disentangled
Sequence-to-Sequence Learning [81.24269148865555]
最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。
このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。
具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
論文 参考訳（メタデータ） (2022-12-12T15:40:30Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳（メタデータ） (2022-10-05T17:05:56Z) - TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。
事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。
5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
論文 参考訳（メタデータ） (2022-05-25T08:57:46Z) - Keyphrase Extraction with Dynamic Graph Convolutional Networks and
Diversified Inference [50.768682650658384]
キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。
最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。
本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
論文 参考訳（メタデータ） (2020-10-24T08:11:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。