論文の概要: Review Residuals: Update-Conditioned Residual Gating for Transformers

• arxiv url: http://arxiv.org/abs/2606.31859v1
• Date: Tue, 30 Jun 2026 15:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.293422
• Title: Review Residuals: Update-Conditioned Residual Gating for Transformers
• Title（参考訳）: Residuals: Update-Conditioned Residual Gating for Transformers
• Abstract要約: 残差接続は、各サブレイヤの提案した更新を1の固定係数で加算する。 本稿では、現在の状態と提案された更新の両方に条件付き、学習された入力依存ゲートによって各更新をスケールするReview Residualsを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Residual connections add every sublayer's proposed update with a fixed coefficient of one; the network never evaluates whether an update is reliable before committing it. Drawing on the human-factors principle of independent verification, we introduce Review Residuals, which scale each update by a learned, input-dependent gate conditioned on both the current state and the proposed update: h_l = h_{l-1} + r_l * u_l with r_l = sigmoid(W[RMSNorm(h_{l-1}), RMSNorm(u_l)]). Conditioning the gate on the update is the property that distinguishes it from prior gated and scaled residuals. We report two findings. First, a depth-stability result: a convex (Highway-style) form of the gate reintroduces vanishing gradients and fails to train beyond ~20 layers, whereas the additive, identity-preserving form trains stably at all depths we tested. Second, an emergence-with-scale result: trained from scratch across five sizes (60M-1B parameters, multi-seed), Review Residuals show no advantage at small scale but at 590M significantly outperform both a parameter-matched Highway gate and a parameter-matched standard residual (p<0.05), with a larger advantage at 1B. The benefit grows with model size rather than shrinking.
• Abstract（参考訳）: 残余接続は各サブレイヤの提案した更新を1の固定係数で加算するが、ネットワークは更新がコミットする前に信頼できるかどうかを決して評価しない。 独立検証のヒューマンファクター原理に基づき,h_l = h_{l-1} + r_l * u_l と r_l = sigmoid(W[RMSNorm(h_{l-1}), RMSNorm(u_l)]) の2つの状態と提案された更新条件で,各更新を学習した入力依存ゲートでスケールするReview Residualsを紹介した。 更新時にゲートをコンディションすることは、前回のゲートとスケールした残留物とを区別するプロパティである。 我々は2つの発見を報告した。 第一に、深さ安定性の結果: ゲートの凸形(ハイウェイスタイル)は、消失する勾配を再導入し、20層を超える訓練に失敗する。 第2に、スクラッチから訓練した5つのサイズ(60M-1Bパラメータ、マルチシード)、レビュー残差は小規模では有利ではないが、590Mではパラメータ整合ハイウェイゲートとパラメータ整合標準残差(p<0.05)の両方で有意に優れ、1Bでは大きな優位性を示した。 メリットは、縮小ではなく、モデルのサイズによって成長します。

関連論文リスト

• Scalable estimation of VARMA models [4.301367153728694]
  自己回帰移動平均(VARMA)モデルは、中等次元を超えた非現実的と考えられてきた。 列長のバイアスを除去する推定法を提案する。 これにより、VARMAの見積もりは、シリーズの長さに依存しないコストで、実践者がVARモデルにずっと依存している問題のサイズに繋がる。
  論文  参考訳（メタデータ） (2026-08-06T17:49:58Z)
• Geometry-Guided Layerwise FFN Width Allocation in Transformers [4.109803241412197]
  フィードフォワードネットワーク(FFN)はトランスフォーマーパラメータの大部分を占めるが、その隠れた幅は通常深さにわたって一定である。 代わりに、レイヤの振る舞いのフォワードパス測定から、このキャパシティを割り当てることができるかどうかを問う。 我々は,各FFNをトークン表現の雲の輸送とみなし,対応保存シフト,グロモフ・ワッサースタイン歪み,および生およびスケール正規化メトリクスの下での次数1の持続的ホモロジーを用いて,誘導幾何学的変化を定量化する。
  論文  参考訳（メタデータ） (2026-08-03T11:08:58Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Auxiliary Finite-Difference Residual-Gradient Regularization for PINNs [0.0]
  本研究では,PDE残差が保たれるハイブリッド設計について検討するが,有限差分は弱い補助項にのみ現れる。 FD項は、PDE残基自体を置き換えることなく残留体を正則化する。 種子0-5と100kのエポック全体で、最も信頼性の高い試験はクルコウタス・ベタ政権下での固定殻重量5e-4である。
  論文  参考訳（メタデータ） (2026-04-15T23:09:19Z)
• Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
  コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。 RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
  論文  参考訳（メタデータ） (2026-03-29T14:14:36Z)
• BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" [0.0]
  正確なバックプロパゲーションに必要な活性化メモリは、ネットワーク深さ、コンテキスト長、特徴次元と線形にスケールする。 本稿では,活性化メモリをバッチ次元とシーケンス次元から完全に分離する効率的なバックプロパゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-05T20:38:25Z)
• AdamHD: Decoupled Huber Decay Regularization for Language Model Pre-Training [0.2578242050187029]
  AdamHuberDecayはAdamWのドロップイン代替品で、$ell$ペナルティを分離したスムーズなHuberレギュレータで置き換える。 GPT-2 と GPT-3 の事前学習実験により,AdamHuberDecay は壁面時間で 10-15% の速度で収束することが示された。
  論文  参考訳（メタデータ） (2025-11-18T18:08:20Z)
• Test Set Sizing for the Ridge Regression [51.56484100374058]
  訓練行数mが大きくなる限界において、リッジ回帰のための理想的な列車/試験分割を高精度に導出する。 このような分割が、大規模なデータ制限下で機械学習モデルに対して数学的に計算されるのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-04-27T13:17:18Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
  SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。 この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。 我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
  論文  参考訳（メタデータ） (2022-02-02T11:58:56Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。