論文の概要: onóna: Twin Embeddings with Tied Unembeddings
- arxiv url: http://arxiv.org/abs/2611.10556v2
- Date: Fri, 13 Nov 2026 01:06:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.219516
- Title: onóna: Twin Embeddings with Tied Unembeddings
- Title(参考訳): オノン:ツイン・エンベディングとタイド・アンベディング
- Abstract要約: 入力-出力重み共有を保ちながら出力を増加させる2テーブルパラメータ化であるonnaを導入する。
Transformerは2つの埋め込みテーブルの平均を入力とし、出力ヘッドは同じテーブルで定義されたソフトマックス分布を結合する。
Dense, Gated DeltaNet hybrid, Mix-of-experts, Attention Residual architectures at 142M, 330M, 1B scales。
- 参考スコア(独自算出の注目度): 22.982616516988582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weight tying reduces the parameter cost of language models, but the usual tied output head is limited to a single softmax. We introduce onóna, a two-table parameterization that increases output expressiveness while preserving input-output weight sharing. The Transformer takes the average of two embedding tables as input, and the output head combines the softmax distributions defined by those same tables. A gate conditioned only on the current input token determines the mixture weight. Its values can be precomputed for inference, and the Transformer body remains unchanged. We evaluate onóna across Dense, Gated DeltaNet hybrid, mixture-of-experts, and Attention Residual architectures at 142M, 330M, and 1B scales. Under matched token budgets, onóna lowers final validation loss and external perplexity in 11 of 12 comparisons and raises the average accuracy over eight downstream tasks in 10 of 12. The one exception on loss is the 1B MoE model. The cost is one extra embedding table and one extra vocabulary projection.
- Abstract(参考訳): 重み付けは言語モデルのパラメータコストを削減するが、通常の結合出力ヘッドは1つのソフトマックスに制限される。
入力-出力重み共有を保ちながら出力表現性を高める2テーブルパラメータ化である Onóna を導入する。
Transformerは2つの埋め込みテーブルの平均を入力とし、出力ヘッドは同じテーブルで定義されたソフトマックス分布を結合する。
現在の入力トークンにのみ条件付きゲートが混合重量を決定する。
その値は推論のためにプリ計算され、Transformer本体は変更されていない。
Dense, Gated DeltaNet hybrid, Mix-of-Experts, Attention Residual Architecturesを142M, 330M, 1Bスケールで評価した。
一致するトークンの予算の下では、オノナは12つ中11つ中11つで最終的な検証損失と外部の難易度を低くし、12つ中10つで8つの下流タスクの平均精度を高める。
損失の例外は1B MoEモデルである。
コストは1つの追加の埋め込みテーブルと1つの追加の語彙投影である。
関連論文リスト
- Manifold-Constrained Residual Adaptation with Frame-Adaptive Layer Aggregation for Speaker Verification [43.84109036113216]
大規模な自己教師型音声モデルは、話者検証のための強力な表現を提供するが、完全な微調整は高価である。
従来のアダプタは、各層の出力を変更するために小さなトレーニング可能なモジュールを挿入するが、元の残余接続は変更しない。
本研究では,各トランスフォーマー残状態の隠れ次元をN群に分割し,シンクホーン正規化行列を用いて情報交換を行うマニフォールド制約残留適応器(MCRA)を提案する。
フレーム適応層集約(FALA)も提案する。これは、すべての発話間で共有される単一の学習クエリを用いて、層重みを計算するアテンションベースのアグリゲーション手法である。
論文 参考訳(メタデータ) (2026-10-19T06:47:48Z) - Your Transformer Is Secretly Elastic [46.417041776406414]
本研究では,事前学習したトランスフォーマーを1つのモデルに変形させるリトレーニングフリー手法を提案する。
22Mから8Bまでの27個のトランスエンコーダを用いて,スムーズな劣化率を最大60%まで生成する。
論文 参考訳(メタデータ) (2026-10-14T17:58:08Z) - Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。
LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
論文 参考訳(メタデータ) (2026-09-30T16:47:35Z) - Fiona: Accelerating FHE Inference with Packing-Aware Ternary Weights [13.428037300225435]
第三次量子化はマルチプリカチオンを加算と減算で置き換えることができるが、蓄えが充填された実行下では実現されることは滅多にない。
FIONAは、所定のパッキングレイアウト内で重みを選択的にテナライズするオフラインモデルである。
VGG11、ViT、BERTでは、FIONAはPMult操作を53.4-79.5%削減し、エンドツーエンドの暗号化推論を2.38x、1.68x、1.84xで高速化する。
論文 参考訳(メタデータ) (2026-09-28T15:03:10Z) - Softmax Reparameterization for Output-Head Quantization [9.854920382071983]
後学習法は量子化の前に関数的に等価な出力ヘッドを探索する。
線形ソフトマックスヘッドの場合、これらのシフトは完全精度の予測を正確に保存する。
シフト互換ヘッドでは、シフトは推論操作を追加しない。
論文 参考訳(メタデータ) (2026-09-25T14:01:25Z) - Squeezing More from Limited Data with Recursive Transformers [50.00473320123697]
限られたデータの下で事前トレーニングを行うには、Webスケールの言語モデリングとは異なるスケーリングのビューが必要である。
本研究では,10M-100Mワードの事前学習予算と2つのコーパス,複数の下流評価について検討した。
論文 参考訳(メタデータ) (2026-08-27T11:18:27Z) - Geometry-Aware Tabular Diffusion [0.0]
タブラル合成は、プライバシー保護の共有と拡張に重要であるが、拡散モデルはカラム間の関係をキャプチャするための暗黙のメカニズムに依存している。
カラム値の差から計算した2つの角度と長さで表層拡散デノイザを拡大するGATD(Geometry-Aware Tabular Diffusion)を導入する。
我々のインスタンス化は、平均3.5倍のパラメータを使用しながら、最先端のベンチマーク性能を達成する。
論文 参考訳(メタデータ) (2026-05-23T17:59:46Z) - ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。
ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
論文 参考訳(メタデータ) (2026-01-29T18:35:01Z) - Kernelized Sparse Fine-Tuning with Bi-level Parameter Competition for Vision Models [80.50996301430108]
スパースチューニングは、下流タスクに最も関係のある重みだけを調整することで、顕著なパフォーマンスを達成する。
上述の制限を克服する一段法SNELLAを提案する。
SNELLAは低メモリ使用量でSOTA性能を達成する。
論文 参考訳(メタデータ) (2025-10-28T03:39:18Z) - Transformers meet Stochastic Block Models: Attention with Data-Adaptive
Sparsity and Cost [53.746169882193456]
最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。
本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。
我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
論文 参考訳(メタデータ) (2022-10-27T15:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。