Fugu-MT 論文翻訳(概要): Unveiling the Potential of Superexpressive Networks in Implicit Neural Representations

論文の概要: Unveiling the Potential of Superexpressive Networks in Implicit Neural Representations

arxiv url: http://arxiv.org/abs/2503.21166v1
Date: Thu, 27 Mar 2025 05:36:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-28 12:51:44.673518
Title: Unveiling the Potential of Superexpressive Networks in Implicit Neural Representations
Title（参考訳）: 暗黙的ニューラル表現における超表現型ネットワークの可能性
Authors: Uvini Balasuriya Mudiyanselage, Woojin Cho, Minju Jo, Noseong Park, Kookjin Lee,
Abstract要約: 「超表現ネットワークは、幅、深さ、高さの付加次元を特徴とする特化されたネットワーク構造を用いる。」超表現的ネットワークは、高特殊化非線形アクティベーション関数を用いた近年の暗黙的ニューラル表現を超越することができることを示す。
参考スコア（独自算出の注目度）: 23.561956415242584
License:
Abstract: In this study, we examine the potential of one of the ``superexpressive'' networks in the context of learning neural functions for representing complex signals and performing machine learning downstream tasks. Our focus is on evaluating their performance on computer vision and scientific machine learning tasks including signal representation/inverse problems and solutions of partial differential equations. Through an empirical investigation in various benchmark tasks, we demonstrate that superexpressive networks, as proposed by [Zhang et al. NeurIPS, 2022], which employ a specialized network structure characterized by having an additional dimension, namely width, depth, and ``height'', can surpass recent implicit neural representations that use highly-specialized nonlinear activation functions.
Abstract（参考訳）: 本研究では,複雑な信号の表現や下流タスクの学習における「超表現的」ネットワークの可能性について検討する。我々の焦点は、信号表現/逆問題や偏微分方程式の解を含む、コンピュータビジョンと科学機械学習タスクのパフォーマンスを評価することである。様々なベンチマークタスクにおける実証的な調査を通じて, 幅, 深さ, 高さなどの余剰次元を持つ特化ネットワーク構造を用いた超表現型ネットワークが, 高度に特殊化された非線形活性化関数を用いた近年の暗黙的ニューラル表現を超越することを示した。

関連論文リスト

Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。具体的には、ニューラルネットワーク内の機能的に類似した表現の概念に基づく、新しい自動化されたタスク非依存のアプローチについて検討する。提案手法は,人間と計算コストを最小限に抑えたニューラルネットワークの動作に関する有意義な洞察を提供する。
論文参考訳（メタデータ） (2024-10-21T20:19:00Z)
Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文参考訳（メタデータ） (2024-06-14T13:12:07Z)
Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文参考訳（メタデータ） (2024-02-20T15:23:24Z)
Feature emergence via margin maximization: case studies in algebraic tasks [4.401622714202886]
訓練されたニューラルネットワークは、一般群における合成を行うために、既約群理論表現に対応する特徴を用いることを示す。より一般的に、私たちの技術が、ニューラルネットワークが特定の計算戦略を採用する理由のより深い理解を促進するのに役立つことを願っています。
論文参考訳（メタデータ） (2023-11-13T18:56:33Z)
The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
論文参考訳（メタデータ） (2022-07-18T15:07:13Z)
A survey on recently proposed activation functions for Deep Learning [0.0]
本稿では,ニューラルネットワークにおけるアクティベーション関数の主な概念について述べる。これには、ディープニューラルネットワークの簡単な紹介、アクティベーション関数とは何なのか、ニューラルネットワークでどのように使用されるのか、最も一般的な性質、異なるタイプのアクティベーション関数、いくつかの課題、制限、アクティベーション関数が直面する代替ソリューションなどが含まれる。
論文参考訳（メタデータ） (2022-04-06T16:21:52Z)
Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文参考訳（メタデータ） (2022-03-30T21:47:32Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。