論文の概要: Wiola 13M, a Gated Spiral Attention Architecture for Parameter Efficient Small Language Models

• arxiv url: http://arxiv.org/abs/2608.14604v1
• Date: Fri, 03 Jul 2026 14:02:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.230506
• Title: Wiola 13M, a Gated Spiral Attention Architecture for Parameter Efficient Small Language Models
• Title（参考訳）: Wiola 13M - パラメータ効率の良い小言語モデルのためのゲーテッドスパイラルアテンションアーキテクチャ
• Abstract要約: Wiolaはデコーダのみの言語モデルで、各レイヤの3滴のコンポーネントに斬新さを集中させる。 第一に、Spirral Rotary Positional の摂動は標準の回転ウェイトを緩やかに増加させ、位相軌跡が外側に傾き、長距離の識別が向上する。 Gated Spiral Attentionはクエリストリームのスカラー因果統計を導入し、無視可能なコストで、暗黙的かつ微分可能なソフトヘッドセレクションを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small language models in the ten to one hundred million parameter range are attractive for on device inference, rapid experimentation, and controlled scientific study, yet most of them reuse the standard transformer block without adaptation to the small scale regime. We present Wiola, a decoder only language model whose novelty is concentrated in three drop in components of every layer. First, Spiral Rotary Positional Encoding perturbs the standard rotary frequencies by a slowly growing per dimension factor so that phase trajectories fan outward, improving long range discrimination while adding no parameters. Second, Gated Spiral Attention introduces a per head, content adaptive scalar gate derived from a causal cumulative statistic of the query stream, providing an implicit and differentiable form of soft head selection at negligible cost. Third, the Butterfly feed forward block replaces the conventional expansion layer with a multiplicative interaction and an intra block bypass path, matching the parameter count of a four times gated linear unit block while improving gradient flow in shallow stacks. We formalize each component, derive exact parameter and computation budgets, and prove that the gated attention admits an exact and numerically verified equivalence between full sequence training and cached autoregressive decoding, so that no approximation is introduced at inference time. We also describe a fully reproducible training and evaluation protocol on a standard tiny story corpus. The reference implementation is released as an open source package with weights ready publishing support.
• Abstract（参考訳）: 10億から100億のパラメータ範囲の小さな言語モデルは、デバイス推論、迅速な実験、制御された科学的研究において魅力的なものであるが、そのほとんどは、小型の体系に適応せずに標準のトランスフォーマーブロックを再利用している。 Wiolaはデコーダのみの言語モデルで、各レイヤの3滴のコンポーネントに斬新さを集中させる。 第一に、Spirral Rotary Positional Encoding は標準の回転周波数を徐々に増大させ、位相軌跡が外向きに広がるようにし、パラメータを追加せずに長距離識別を改善する。 第2に、Gated Spiral Attentionは、クエリストリームの因果累積統計から導出されるコンテンツ適応スカラーゲートを導入し、無視可能なコストで、暗黙的かつ微分可能なソフトヘッド選択形式を提供する。 第三に、バタフライフィードフォワードブロックは、従来の拡張層を乗法的相互作用とイントラブロックバイパスパスで置き換え、浅いスタックの勾配フローを改善しつつ、4倍のゲート付き線形ユニットブロックのパラメータ数と一致する。 我々は各コンポーネントを形式化し、正確なパラメータと計算予算を導出し、ゲートアテンションがフルシーケンストレーニングとキャッシュされた自己回帰復号の正確な数値的等価性を認め、推論時に近似を導入しないことを示す。 また,標準的な小型ストーリーコーパス上で,再現性のあるトレーニングと評価のプロトコルについても述べる。 リファレンス実装はオープンソースパッケージとしてリリースされ、公開サポートも準備されている。

関連論文リスト

• RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers [8.085475675888045]
  リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックが1つの共有コア繰り返しR回ブラケットする再カレント深さ変換器である。 ゲート型リカレントニューラルネットワークにインスパイアされた私たちは、ライトウェイトプロジェクションとエレメントワイズ更新ゲートを使用して、リカレント更新を変調する。 この結果から,適応的深度再利用は品質の取引パラメータの原則的戦略であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-15T06:22:00Z)
• Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters [0.0]
  グルーキングは単一の結果ではなく、マルチシードレートとして研究する。 この完全に牽引可能な状態グルーキングは条件付き、脆弱な相転移である。
  論文  参考訳（メタデータ） (2026-07-06T13:58:31Z)
• ScalingAttention: Discovering Intrinsic Sparse Attention Topology for Video Diffusion Transformers [7.879917783645986]
  Diffusion Transformers (DiTs) は高忠実度ビデオ生成に革命をもたらしたが、3Dフルアテンションに依存しているため、二次的な計算ボトルネックが生じる。 動的プルーニングは禁止されたランタイムのオーバーヘッドとメモリの断片化に悩まされ、静的はきめ細かい依存関係をキャプチャできない。 本研究では,重要な帰納バイアスに基づくトレーニングフリーフレームワークであるScalingAttentionを提案する。 Wan2.1の実験では、1.90倍のエンドツーエンドのスピードアップが達成され、最先端のベースラインに対する新たなフロンティアが確立された。
  論文  参考訳（メタデータ） (2026-06-22T08:32:07Z)
• Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
  Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。 独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。 Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
  論文  参考訳（メタデータ） (2026-06-11T17:48:38Z)
• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• Quantized Visual Geometry Grounded Transformer [67.15451442018258]
  本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。 球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。 また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
  論文  参考訳（メタデータ） (2025-09-25T15:17:11Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)
• Rate Region for Indirect Multiterminal Source Coding in Federated Learning [49.574683687858126]
  多数のエッジデバイスは、ローカルモデルの各ラウンドでアップデートをエッジに送信します。 既存の作品は、異なるエッジによって送信される情報の焦点を活用しない。 本稿では,間接多端音源符号化 fl のレート領域について検討する。
  論文  参考訳（メタデータ） (2021-01-21T16:17:39Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。