論文の概要: QuadEnhancer: Leveraging Quadratic Transformations to Enhance Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2510.03276v1
• Date: Sun, 28 Sep 2025 08:35:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:58.637783
• Title: QuadEnhancer: Leveraging Quadratic Transformations to Enhance Deep Neural Networks
• Title（参考訳）: QuadEnhancer: ディープニューラルネットワークの強化に擬似変換を活用する
• Authors: Qian Chen, Linxin Yang, Akang Wang, Xiaodong Luo, Yin Zhang,
• Abstract要約: 本稿では,ニューラルネットワークの非線形性をさらに向上させる2次変換の導入について検討する。 低ランク性, 重量共有, スパシフィケーション技術を用いた軽量2次エンハンサーを提案する。 本稿では,画像分類,テキスト分類,微調整型大言語モデルという3つの課題にまたがって,提案手法の実証実験を行う。
• 参考スコア（独自算出の注目度）: 11.940590491663682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The combination of linear transformations and non-linear activation functions forms the foundation of most modern deep neural networks, enabling them to approximate highly complex functions. This paper explores the introduction of quadratic transformations to further increase nonlinearity in neural networks, with the aim of enhancing the performance of existing architectures. To reduce parameter complexity and computational complexity, we propose a lightweight quadratic enhancer that uses low-rankness, weight sharing, and sparsification techniques. For a fixed architecture, the proposed approach introduces quadratic interactions between features at every layer, while only adding negligible amounts of additional model parameters and forward computations. We conduct a set of proof-of-concept experiments for the proposed method across three tasks: image classification, text classification, and fine-tuning large-language models. In all tasks, the proposed approach demonstrates clear and substantial performance gains.
• Abstract（参考訳）: 線形変換と非線形活性化関数の組み合わせは、最も現代的なディープニューラルネットワークの基礎を形成し、非常に複雑な関数を近似することができる。 本稿では,既存のアーキテクチャの性能向上を目的とした,ニューラルネットワークの非線形性の向上を目的とした二次変換の導入について検討する。 パラメータの複雑性と計算複雑性を低減するために,低ランク性,重み共有,スパース化技術を用いた軽量2次エンハンサーを提案する。 固定アーキテクチャでは、提案手法は各層における特徴間の二次的相互作用を導入し、最小限のモデルパラメータと前方計算しか追加しない。 本稿では,画像分類,テキスト分類,微調整型大言語モデルという3つの課題にまたがって,提案手法の実証実験を行う。 すべてのタスクにおいて、提案されたアプローチは明確で実質的なパフォーマンス向上を示す。

関連論文リスト

• MixFunn: A Neural Network for Differential Equations with Improved Generalization and Interpretability [0.0]
  MixFunnは、精度、解釈可能性、一般化能力を高めた微分方程式を解くために設計された、新しいニューラルネットワークアーキテクチャである。 このアーキテクチャは、複数のパラメータ化非線形関数を統合する混合関数ニューロンと、入力の線形変換と2次項を結合して入力変数のクロスコンビネーションをキャプチャする2次ニューロンの2つの重要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-03-28T15:31:15Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• A Survey on Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性 Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。 本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-11-09T05:54:17Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
  機械学習の創発は、トレーニングデータのスケールと構造から生じる能力の自発的な出現を指す。 我々は、出現の可能性を高めることを目的とした、新しい単純なニューラルネットワーク初期化スキームを導入する。 バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-26T18:56:47Z)
• GFN: A graph feedforward network for resolution-invariant reduced operator learning in multifidelity applications [0.0]
  本研究は,多忠実度アプリケーションのための新しい分解能不変モデルオーダー削減戦略を提案する。 我々はこの研究で開発された新しいニューラルネットワーク層、グラフフィードフォワードネットワークに基づいてアーキテクチャを構築した。 パラメトリックな偏微分方程式に対する自己エンコーダに基づく還元戦略において,異なるメッシュサイズでのトレーニングとテストの能力を利用する。
  論文  参考訳（メタデータ） (2024-06-05T18:31:37Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Iso-Points: Optimizing Neural Implicit Surfaces with Hybrid Representations [21.64457003420851]
  我々は,幾何認識によるサンプリングと正規化を課すことができるハイブリッドニューラルサーフェス表現を開発した。 本手法は、多視点画像や点群から神経暗黙面を再構築する技術を改善するために適用できることを実証する。
  論文  参考訳（メタデータ） (2020-12-11T15:51:04Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。