Fugu-MT 論文翻訳(概要): TriPLU: Bypassing the Gate with Direct Trilinear Product FFNs in Tiny Language Models

論文の概要: TriPLU: Bypassing the Gate with Direct Trilinear Product FFNs in Tiny Language Models

arxiv url: http://arxiv.org/abs/2608.20360v1
Date: Wed, 17 Jun 2026 15:50:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 05:09:55.28121
Title: TriPLU: Bypassing the Gate with Direct Trilinear Product FFNs in Tiny Language Models
Title（参考訳）: TriPLU: Tiny言語モデルにおける直接トリ線形製品FFNによるゲートのバイパス
Abstract要約: 本稿では,デコーダのみの小さな言語モデルが,特徴投影を直接乗算するフィードフォワード層から恩恵を受けるかどうかを考察する。 TriPLUは通常のゲートFFNブランチを3つの射影ストリームを座標的に乗算する製品のみの次数3ブランチに置き換える。一定の学習率診断は、製品ブランチの正規化が、高い学習率と最高のチェックポイントのギャップを減らせることを示している。
参考スコア（独自算出の注目度）: 7.628568362560024
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study whether tiny decoder-only language models benefit from feed-forward layers that directly multiply learned feature projections. TriPLU, a Trilinear Product Linear Unit, replaces the usual gated FFN branch with a product-only degree-3 branch that multiplies three projected streams coordinatewise. In a character-level TinyStories 1M-byte prefix study, TriPLU reaches a mean best validation loss of 1.0637, compared with 1.1017 for closely matched SwiGLU, 1.0780 for a degree-4 product control, and 1.1026 for a degree-2 control. In train-only Byte-BPE experiments, TriPLU also lowers validation and heldout bits per byte on TinyStories and WikiText-2 raw under low-learning-rate settings, with PMI-slice evidence suggesting gains on seen middle- and high-PMI adjacent-token pairs. Constant-learning-rate diagnostics show that product-branch normalization can reduce the high-learning-rate best-checkpoint gap, although final BPB still degrades under hot schedules. The resulting claim is deliberately narrow: direct product FFNs can improve fixed-budget small-model loss in specific low-compute regimes, but the branch is optimization-sensitive and does not establish FLOP-normalized efficiency, scaling behavior, or broad LLM performance.
Abstract（参考訳）: 本稿では,デコーダのみの小さな言語モデルが,特徴投影を直接乗算するフィードフォワード層から恩恵を受けるかどうかを考察する。 TriPLU(Trilinear Product Linear Unit)は、通常のFFNブランチを3つの投影ストリームを座標的に乗算する製品のみの学位3ブランチに置き換える。文字レベルのTinyStories 1Mバイトプレフィックススタディでは、TriPLUはSwiGLUに1.1017、製品コントロールに1.0780、ディレクショナリ2コントロールに1.1026と、平均で1.0637のバリデーション損失を達成した。列車のみのByte-BPE実験では、TriPLUはTinyStoriesとWikiText-2の生の1バイト当たりの検証と保持ビットを低学習率設定で削減し、PMIスライスによる証拠は、中高PMIと高PMIの隣り合うペアの利得を示唆している。一定の学習率の診断では、製品ブランチの正規化は高い学習率のベストチェックポイントギャップを減少させるが、最終的なBPBは熱いスケジュール下でも低下する。直接製品FFNは、特定の低計算状態における固定予算の小さなモデル損失を改善することができるが、ブランチは最適化に敏感であり、FLOP正規化効率、スケーリング挙動、広範囲なLLM性能を確立しない。

関連論文リスト

Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文参考訳（メタデータ） (2026-08-17T09:53:27Z)
Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文参考訳（メタデータ） (2026-07-28T10:59:04Z)
Improving Small Language Models for Code Generation with Reinforcement Learning from Verification Feedback [0.0]
検証可能な(RLVR)言語モデルを用いた強化学習は、単体テスト結果を用いて訓練する。 MBPPベンチマークを用いたPythonコード生成のためのRLVRの実証的研究を行った。その結果、コード生成におけるRLVRの有効性は、設計と最適化に非常に敏感であることがわかった。
論文参考訳（メタデータ） (2026-05-28T18:50:00Z)
Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study [31.968379218484746]
ゲート決定は、言語モデリング(LM)の損失に影響を与える前に、多くのレイヤを通して伝播しなければならない。補助的な損失はトレーニングを安定させるために積み重ねられることが多いが、それらの間の相互作用、特に予測的な補助的なスコアと明示的なスコアの監督の間の相互作用は、制御された条件下で体系的に比較されていない。これは、後続のすべてのレイヤがフルに実行されると仮定する、オフポリティのオラクルラベルにトレースしますが、ゲートされた実行ルートはフルに1分しかありません。
論文参考訳（メタデータ） (2026-04-19T03:20:40Z)
BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文参考訳（メタデータ） (2026-04-05T04:25:07Z)
CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文参考訳（メタデータ） (2026-01-30T10:33:29Z)
D3R-Net: Dual-Domain Denoising Reconstruction Network for Robust Industrial Anomaly Detection [0.0]
非教師付き異常検出(UAD)は、現代の製造において、自動視覚検査の鍵となる要素である。本稿では、D3R-Netについて紹介する。D3R-Netは、自己教師型「癒し」タスクと周波数認識正規化を結合したデュアルドメイン・デノベーション・コンストラクションフレームワークである。空間平均二乗誤差に加えて、周波数領域の整合性を促進するFast Fourier Transform (FFT) 等級損失を用いる。
論文参考訳（メタデータ） (2026-01-27T23:21:59Z)
Steering Conceptual Bias via Transformer Latent-Subspace Activation [0.0]
本研究では,言語モデル(LLM)における潜在部分空間の活性化が,特定のプログラミング言語に対して科学的コード生成を促進できるかどうかを検討する。 C++ または CPP トークンに対して最も活性の高い静的重みを摂動させるニューロンの寄与法は脆く、限定的な一般化を示した。勾配調整型アダプティブアクティベーションステアリングフレームワーク(G-ACT)を開発した。
論文参考訳（メタデータ） (2025-06-23T17:56:34Z)
The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
論文参考訳（メタデータ） (2022-10-12T15:25:19Z)
GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
論文参考訳（メタデータ） (2021-09-06T03:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。