論文の概要: FON: A Draft-Revise Dual-Organ Language Model without Sequence-Level Quadratic Attention
- arxiv url: http://arxiv.org/abs/2610.16301v1
- Date: Mon, 12 Oct 2026 07:28:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.324867
- Title: FON: A Draft-Revise Dual-Organ Language Model without Sequence-Level Quadratic Attention
- Title（参考訳）: FON: シーケンスレベル2次アテンションのない2言語言語モデル
- Abstract要約: 自己注意(Self-attention)は、2つの関数を1つのメカニズムで読み取る場所と、O(L2)トレーニングの価格をミックス・アットする方法に割り当てる。
本稿では,FON(Fusion-Organ Network)を提案する。
FONはWikiText-103で131.03に到達し、Transformer (197.73)とMamba2(152.53)を破った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-attention assigns two functions to one mechanism-where to read and how to mix-at the price of O(L^2) training, an O(T) decode state, and position signals bound to the training length. Existing attention-free alternatives all optimize the single function of generation. We propose FON (Fusion-Organ Network), which differentiates one weight stack into a drafting organ (multi-tap learnable delays + content-adaptive recursion; causal, O(S) training, O(1) decode state, no sequence-level quadratic attention) and a revision organ that re-processes the written prefix through multi-scale ripple kernels injected via weak gates, never generating. At 30M parameters, iso-parameter and iso-token budget, FON reaches perplexity 131.03 on WikiText-103, beating Transformer (197.73) and Mamba2 (152.53); the advantage persists under all depth-aligned baselines and at the 70M tier (-20.8%). At 8x length extrapolation FON degrades by ~8-9% without positional-encoding engineering, between ALiBi and RoPE. The revision channel provides a structural pathway for in-domain infilling that causal architectures lack in principle (+19% over on-demand coupling), at a perplexity cost indistinguishable within measurement precision. We report all costs and boundaries: impaired long-range retrieval, synthetic-task disadvantages, weaker out-of-domain code infilling than a same-recipe Transformer, and a 6.5-12.3x wall-clock gap.
- Abstract（参考訳）: 自己注意(Self-attention)は、O(L^2)トレーニングの価格、O(T)デコード状態、およびトレーニング長に拘束された位置信号の混合方法とを2つの関数に割り当てる。
既存の注意のない代替手段はすべて、生成の単一関数を最適化する。
提案するFON(Fusion-Organ Network)は,1つの重みスタックを起草器官(複数タップで学習可能な遅延と内容適応的再帰,因果,O(S)訓練,O(1)復号状態,シーケンスレベルの二次的注意を伴わない)と,弱いゲートを介し複数スケールのリプルカーネルを注入して書き直されたプレフィックスを再処理するリビジョンオルガンを提案する。
30Mパラメータ、アイソパラメータ、アイソトーケンの予算において、FONはWikiText-103で131.03に達し、Transformer (197.73) とMamba2 (152.53) を上回り、全ての深さに整列したベースラインと70M階層(-20.8%)で優位を保っている。
長さ8倍のFONは、ALiBiとRoPEの間の位置エンコードエンジニアリングなしで約8-9%劣化する。
リビジョン・チャネルは、因果的アーキテクチャが原則に欠ける(オンデマンド結合よりも+19%)ことを、測定精度で区別できない複雑なコストで、ドメイン内に埋め込むための構造的経路を提供する。
長範囲検索の障害,合成タスクの不備,ドメイン外のコードへの入力が,同じレシピ変換器よりも弱いこと,壁時計の6.5-12.3倍のギャップなど,すべてのコストと境界を報告します。
関連論文リスト
- HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文 参考訳（メタデータ） (2026-09-01T18:02:02Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers [8.085475675888045]
リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックが1つの共有コア繰り返しR回ブラケットする再カレント深さ変換器である。
ゲート型リカレントニューラルネットワークにインスパイアされた私たちは、ライトウェイトプロジェクションとエレメントワイズ更新ゲートを使用して、リカレント更新を変調する。
この結果から,適応的深度再利用は品質の取引パラメータの原則的戦略であることが示唆された。
論文 参考訳（メタデータ） (2026-08-15T06:22:00Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - TFGN: Task-Free, Replay-Free Continual Pre-Training Without Catastrophic Forgetting at LLM Scale [0.0]
本稿ではトランスフォーマー言語モデルのためのアーキテクチャオーバーレイであるTFGNを紹介する。
TFGNは入力条件付きパラメータ効率の更新を生成し、残りのトランスは変更しない。
我々の知る限り、TFGNはLLMスケールでの破滅的な忘れを同時に閉じる最初のアーキテクチャである。
論文 参考訳（メタデータ） (2026-05-14T16:46:26Z) - THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。
トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
論文 参考訳（メタデータ） (2026-04-13T10:44:15Z) - MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。
我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。
1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
論文 参考訳（メタデータ） (2025-11-17T06:17:08Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Logit-Entropy Adaptive Stopping Heuristic for Efficient Chain-of-Thought Reasoning [0.0]
CoTプロンプト(Chain-of-Thought)は、大規模言語モデルにおいて複雑な推論を可能にする重要なテクニックである。
LEASH: Logit-Entropy Adaptive Stopping Heuristicは,有理数生成を適応的に停止する学習自由復号アルゴリズムである。
論文 参考訳（メタデータ） (2025-11-06T18:43:16Z) - FastLR: Non-Autoregressive Lipreading Model with Integrate-and-Fire [74.04394069262108]
我々は,全てのターゲットトークンを同時に生成する非自己回帰(NAR)リップリーダーモデルであるFastLRを提案する。
FastLRは最先端のリップリーダーモデルと比較して10.97$times$のスピードアップを実現している。
論文 参考訳（メタデータ） (2020-08-06T08:28:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。