論文の概要: Poly-MgNet: Polynomial Building Blocks in Multigrid-Inspired ResNets

• arxiv url: http://arxiv.org/abs/2503.10594v1
• Date: Thu, 13 Mar 2025 17:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:13.049898
• Title: Poly-MgNet: Polynomial Building Blocks in Multigrid-Inspired ResNets
• Title（参考訳）: Poly-MgNet: マルチグリッドインスパイアされたResNetにおける多言語ビルディングブロック
• Authors: Antonia van Betteray, Matthias Rottmann, Karsten Kahl,
• Abstract要約: 我々は,Multigrid(MG)理論のスムースにインスパイアされた,新しいニューラルネットワーク構築ブロックを提案する。 この結果から,実虚根に基づく(二次的な)線形構造ブロックの構築により,ポリMgNetのキャパシティが向上することが示唆された。
• 参考スコア（独自算出の注目度）: 4.69726714177332
• License:
• Abstract: The structural analogies of ResNets and Multigrid (MG) methods such as common building blocks like convolutions and poolings where already pointed out by He et al.\ in 2016. Multigrid methods are used in the context of scientific computing for solving large sparse linear systems arising from partial differential equations. MG methods particularly rely on two main concepts: smoothing and residual restriction / coarsening. Exploiting these analogies, He and Xu developed the MgNet framework, which integrates MG schemes into the design of ResNets. In this work, we introduce a novel neural network building block inspired by polynomial smoothers from MG theory. Our polynomial block from an MG perspective naturally extends the MgNet framework to Poly-Mgnet and at the same time reduces the number of weights in MgNet. We present a comprehensive study of our polynomial block, analyzing the choice of initial coefficients, the polynomial degree, the placement of activation functions, as well as of batch normalizations. Our results demonstrate that constructing (quadratic) polynomial building blocks based on real and imaginary polynomial roots enhances Poly-MgNet's capacity in terms of accuracy. Furthermore, our approach achieves an improved trade-off of model accuracy and number of weights compared to ResNet as well as compared to specific configurations of MgNet.
• Abstract（参考訳）: ResNetsとMultigrid(MG)メソッドの構造的類似は、2016年にHe et al \によって既に指摘されている、畳み込みやプールのような一般的なビルディングブロックのようなものだ。 多重グリッド法は、偏微分方程式から生じる大きなスパース線形系を解くための科学計算の文脈で用いられる。 MG法はスムーズ化と残留制限/粗化という2つの主要な概念に特に依存している。 これらの類推を展開したHeとXuは、MGスキームをResNetの設計に統合したMgNetフレームワークを開発した。 本研究では,MG理論から多項式スムースラーに着想を得た新しいニューラルネットワーク構築ブロックを提案する。 MGの観点からの多項式ブロックはMgNetフレームワークをPoly-Mgnetに自然に拡張し、同時にMgNetの重みを減らす。 本稿では,初期係数の選択,多項式次数,アクティベーション関数の配置,バッチ正規化など,我々の多項式ブロックの包括的研究について述べる。 実数および虚数多項式根に基づく(二次的な)多項式構築ブロックの構築は、精度の観点からポリMgNetの容量を増大させることを示した。 さらに本手法は,ResNetと比較してモデルの精度と重量数のトレードオフを改善し,MgNetの特定の構成と比較した。

関連論文リスト

• Harnessing Scale and Physics: A Multi-Graph Neural Operator Framework for PDEs on Arbitrary Geometries [9.954826518381468]
  本稿では、任意ジオメトリ上のPDEを効率的に解くために設計されたマルチグラフニューラル演算子であるAMG法を提案する。 AMGは、新しいGraphFormerアーキテクチャにおいて、高度なグラフベースの技術と動的アテンションメカニズムを活用する。 6つのベンチマークでAMGを総合的に評価し、既存の最先端モデルよりも一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-11-18T12:35:03Z)
• Searching for Efficient Linear Layers over a Continuous Space of Structured Matrices [88.33936714942996]
  アインシュタイン和を通じて表現可能なすべての線形作用素の探索を可能にする統一フレームワークを提案する。 計算-最適スケーリング法則の違いは主に少数の変数によって支配されていることを示す。 そこで,Mixture-of-Experts (MoE) は,注目ブロックの投影を含む,モデルのすべての線形層におけるMoEを学習する。
  論文  参考訳（メタデータ） (2024-10-03T00:44:50Z)
• RMLR: Extending Multinomial Logistic Regression into General Geometries [64.16104856124029]
  我々のフレームワークは、最小限の幾何学的性質しか必要とせず、広い適用性を示す。 SPD MLRの5つのファミリーを5種類のパワー変形測定値に基づいて開発する。 回転行列上では、人気のある双不変計量に基づいてリー MLR を提案する。
  論文  参考訳（メタデータ） (2024-09-28T18:38:21Z)
• A Deep Learning algorithm to accelerate Algebraic Multigrid methods in Finite Element solvers of 3D elliptic PDEs [0.0]
  本稿では,有限要素解法として用いる場合の代数的多重グリッド法の計算コストを最小化する新しいDeep Learningアルゴリズムを提案する。 本研究では,大きなスパース行列処理の計算コストを削減し,手前の回帰処理に必要な特徴を保存できることを実験的に証明する。
  論文  参考訳（メタデータ） (2023-04-21T09:18:56Z)
• Regularization of polynomial networks for image recognition [78.4786845859205]
  PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。 6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
  論文  参考訳（メタデータ） (2023-03-24T10:05:22Z)
• FV-MgNet: Fully Connected V-cycle MgNet for Interpretable Time Series Forecasting [3.7760201752084757]
  長期連続予測のための完全連結型VサイクルMgNetを提案する。 畳み込み操作を既存のMgNetで完全に接続された操作に置き換え、それを予測問題に適用する。
  論文  参考訳（メタデータ） (2023-02-02T09:02:35Z)
• Agglomeration of Polygonal Grids using Graph Neural Networks with applications to Multigrid solvers [0.0]
  計算メッシュの接続グラフを分割するグラフニューラルネットワーク(GNN)を提案する。 GNNはメッシュのグラフ構造と幾何学的情報の両方を自然に同時に処理する利点がある。 機械学習(ML)戦略では、品質指標のパフォーマンスが向上し、GNNはオンラインでの計算コストの低減を特徴としている。
  論文  参考訳（メタデータ） (2022-10-31T16:30:48Z)
• An Interpretive Constrained Linear Model for ResNet and MgNet [4.407784399315197]
  畳み込みニューラルネットワーク(CNN)を用いた画像分類のための解釈可能な数学的モデルとして、制約付き線形データフィーチャーマッピングモデルを提案する。 線形系に対する従来の反復的スキームとResNet型およびMgNet型モデルの基本ブロックのアーキテクチャとの詳細な関係を確立する。 修正されたResNetモデルでは、元のモデルと比較してパラメータが少ないが、より正確な結果が得られる。
  論文  参考訳（メタデータ） (2021-12-14T14:52:44Z)
• GeoMol: Torsional Geometric Generation of Molecular 3D Conformer Ensembles [60.12186997181117]
  分子グラフからの分子の3Dコンホメーラーアンサンブルの予測は、化学情報学と薬物発見の領域において重要な役割を担っている。 既存の生成モデルは、重要な分子幾何学的要素のモデリングの欠如を含むいくつかの欠点がある。 エンド・ツー・エンド、非自己回帰、SE(3)不変の機械学習手法であるGeoMolを提案し、3Dコンバータを生成する。
  論文  参考訳（メタデータ） (2021-06-08T14:17:59Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)
• MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning [70.540936204654]
  マルチエージェント強化学習のための新しい手法であるMAGnetを提案する。 我々は、最先端のMARLソリューションよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-17T17:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。