Fugu-MT 論文翻訳(概要): Layer-wise Derivative Controlled Networks

論文の概要: Layer-wise Derivative Controlled Networks

arxiv url: http://arxiv.org/abs/2605.15463v1
Date: Thu, 14 May 2026 22:57:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-18 21:22:26.120695
Title: Layer-wise Derivative Controlled Networks
Title（参考訳）: 層ワイドデリバティブ制御ネットワーク
Authors: Rowan Martnishn, Sean Anderson,
Abstract要約: 本稿では、機械学習の競合する目標を調和させるために設計された新しいニューラルネットワークであるChainzRuleを紹介する。ヘッド・ツー・ヘッドのベンチマークでは、ChainzRuleは15.5倍のパラメータを使用しながら標準モデルを上回った。 DREGを通じてアーキテクチャに勾配認識を埋め込むことで、ChainzRuleは安定性と精度が競合する目標である必要はないことを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: As machine learning models grow in complexity, they increasingly struggle with three conflicting demands: the need for high accuracy, the requirement for hardware efficiency, and the necessity of functional stability. Traditional architectures often achieve performance at the expense of spiky or unpredictable behavior, where small changes in input lead to massive swings in output -- a critical flaw for real-world deployment in sensitive environments. This paper introduces ChainzRule (CR), a novel neural architecture designed to harmonize these competing goals. ChainzRule replaces standard piecewise-linear activations with a Polynomial Engine governed by Differential Regularization (DREG). Unlike traditional methods that impose global, coarse-grained constraints on a model's Lipschitz constant, DREG acts as a targeted regularization on intermediate derivatives. This approach suppresses extreme sensitivity without attenuating the representational power inherent in the Polynomial Engine. In head-to-head "Fair Fight" benchmarks, ChainzRule outperformed standard models while using 15.5x fewer parameters. On the MNIST dataset, it reduced peak gradient volatility by an average of 23.1%, ensuring a smoother and more predictable manifold. On Yelp Full ordinal regression under explicit DREG regularization, ChainzRule achieves 70.17% accuracy, validating that derivative-aware regularization is compatible with competitive performance on realistic tasks. By embedding gradient awareness into the architecture via DREG, ChainzRule demonstrates that stability and accuracy need not be competing objectives.
Abstract（参考訳）: 機械学習モデルは複雑さが増すにつれて、高い精度の必要性、ハードウェア効率の要求、機能的安定性の必要性という3つの矛盾する要求に苦しむようになる。従来のアーキテクチャでは、スパイクや予測不可能な振る舞いを犠牲にして、パフォーマンスを実現していることが多い。本稿では、これらの競合する目標を調和させるために設計された新しいニューラルネットワークであるChainzRule(CR)を紹介する。 ChainzRuleは、標準的な片方向の線形アクティベーションを、微分正規化(DREG)によって支配されるポリノミアルエンジンに置き換える。モデルのリプシッツ定数に大域的、粗粒度の制約を課す伝統的な方法とは異なり、DREGは中間微分のターゲット正則化として機能する。このアプローチは、ポリノミアルエンジンに固有の表現力を減衰させることなく、極端に感度を低下させる。ファイアファイト」ベンチマークでは、ChainzRuleは15.5倍のパラメータを使用しながら標準モデルより優れていた。 MNISTデータセットでは、ピーク勾配のボラティリティを平均23.1%減少させ、より滑らかで予測可能な多様体を確保した。明示的なDREG正規化の下でYelpの完全な順序回帰では、ChainzRuleは70.17%の精度を達成した。 DREGを通じてアーキテクチャに勾配認識を埋め込むことで、ChainzRuleは安定性と精度が競合する目標である必要はないことを示した。

関連論文リスト

GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control [0.0]
GIRL(Generative Imagination Reinforcement Learning)は、この障害モードに2つの重要なコンポーネントで対処する潜在的世界モデルフレームワークである。 GIRLは、DreamerV3に対するタスク間の遅延ロールアウトドリフトを38～61%削減し、リターンを改善し、長距離タスクでの環境相互作用を少なくする。蒸留前の変種はオーバーヘッドを減らし、フルモデルに対する計算効率を向上させる。
論文参考訳（メタデータ） (2026-04-08T17:14:21Z)
Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。 AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
論文参考訳（メタデータ） (2026-03-12T18:19:21Z)
Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文参考訳（メタデータ） (2026-02-09T22:48:30Z)
HQP: Sensitivity-Aware Hybrid Quantization and Pruning for Ultra-Low-Latency Edge AI Inference [0.0]
相乗的モデル加速を実現するために設計されたHybrid Quantization and Pruning (HQP)フレームワーク。 HQPフレームワークは3.12倍の推論速度向上と55%のモデルサイズ縮小を実現している。
論文参考訳（メタデータ） (2026-02-02T18:17:45Z)
Plain Transformers are Surprisingly Powerful Link Predictors [57.01966734467712]
リンク予測はグラフ機械学習における中核的な課題であり、リッチで複雑なトポロジ的依存関係をキャプチャするモデルを必要とする。グラフニューラルネットワーク(GNN)が標準的なソリューションであるのに対して、最先端のパイプラインは明示的な構造やメモリ集約的なノードの埋め込みに依存していることが多い。本報告では,手作りのプリミティブに置き換えるエンコーダのみのプレーントランスであるPENCILについて,サンプリングしたローカルサブグラフに注目する。
論文参考訳（メタデータ） (2026-02-02T02:45:52Z)
DARN: Dynamic Adaptive Regularization Networks for Efficient and Robust Foundation Model Adaptation [0.0]
動的適応正規化ネットワーク(DARN)を導入する。 DARNは、サンプルごとの難易度を推定する軽量タスク複雑度予測器(TCP)、適応ドロップアウト変調(ADM)、動的キャパシティゲーティング(DCG)の3つの重要なイノベーションを統合している。完全な微調整(非凍結バックボーン)において、DARN はマルチタスク GeoBench ベンチマーク (86.66% mIoU, +5.56 pp over earlier SOTA) で新しい最先端を達成する。効率的な適応(凍結バックボーン)において、DARNはSen上でSOTA競合精度(90.5% mIoU)を達成する
論文参考訳（メタデータ） (2025-11-06T19:36:49Z)
Scaled Supervision is an Implicit Lipschitz Regularizer [32.41225209639384]
ソーシャルメディアでは、レコメンダシステムはクリックスルーレート(CTR)をユーザのエンゲージメントを評価するための標準指標としています。本稿では,既存のCTRモデルを安定的に最適化し,拡張性の向上を図るため,帯域幅のスケーリングが暗黙のリプシッツ正規化器として機能することを示す。
論文参考訳（メタデータ） (2025-03-19T01:01:28Z)
Outlier-robust neural network training: variation regularization meets trimmed loss to prevent functional breakdown [2.5628953713168685]
我々は,高度に表現力のあるニューラルネットワークを用いた外乱予測モデリングの課題に取り組む。提案手法は,(1)変換トリミング損失(TTL)と(2)高次変動正規化(HOVR)の2つの重要な要素を統合し,予測関数に滑らかさの制約を課す。
論文参考訳（メタデータ） (2023-08-04T12:57:13Z)
Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文参考訳（メタデータ） (2021-06-28T00:14:11Z)
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文参考訳（メタデータ） (2020-08-07T02:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。