論文の概要: Ensuring Semantics in Weights of Implicit Neural Representations through the Implicit Function Theorem
- arxiv url: http://arxiv.org/abs/2601.23181v1
- Date: Fri, 30 Jan 2026 17:05:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.578853
- Title: Ensuring Semantics in Weights of Implicit Neural Representations through the Implicit Function Theorem
- Title(参考訳): インプシット関数理論によるインプシットニューラル表現の重みのセマンティクスの確保
- Authors: Tianming Qiu, Christos Sonis, Hao Shen,
- Abstract要約: Inlicit Neural Representation (INR)は、軽量空間学習(WSL)のための便利なテストベッドを提供する
我々は、データ空間とその潜在重み表現空間の間の厳密なマッピングを確立するために、IFT(Implicit Function Theorem)をデプロイする。
我々は、インスタンス固有の埋め込みを共有ハイパーネットワークを介してINR重みにマッピングするフレームワークを分析する。
- 参考スコア(独自算出の注目度): 4.650983048077127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weight Space Learning (WSL), which frames neural network weights as a data modality, is an emerging field with potential for tasks like meta-learning or transfer learning. Particularly, Implicit Neural Representations (INRs) provide a convenient testbed, where each set of weights determines the corresponding individual data sample as a mapping from coordinates to contextual values. So far, a precise theoretical explanation for the mechanism of encoding semantics of data into network weights is still missing. In this work, we deploy the Implicit Function Theorem (IFT) to establish a rigorous mapping between the data space and its latent weight representation space. We analyze a framework that maps instance-specific embeddings to INR weights via a shared hypernetwork, achieving performance competitive with existing baselines on downstream classification tasks across 2D and 3D datasets. These findings offer a theoretical lens for future investigations into network weights.
- Abstract(参考訳): ニューラルネットワークの重みをデータモダリティとして表わす重み空間学習(WSL)は、メタラーニングやトランスファーラーニングといったタスクの潜在能力を持つ新興分野である。
特に、インプリシトニューラルネットワーク表現(INR)は、各重みのセットが対応する個々のデータサンプルを座標から文脈値へのマッピングとして決定する便利なテストベッドを提供する。
これまでのところ、データのセマンティクスをネットワーク重みにエンコードするメカニズムに関する正確な理論的説明はいまだに欠けている。
本研究では,データ空間とその潜在重み表現空間間の厳密なマッピングを確立するために,IFT(Implicit Function Theorem)をデプロイする。
我々は、インスタンス固有の埋め込みを共有ハイパーネットワークを介してINR重みにマッピングするフレームワークを分析し、2次元および3次元データセットの下流分類タスクにおける既存のベースラインと競合する性能を達成する。
これらの発見は、将来のネットワークウェイトの研究のための理論的レンズを提供する。
関連論文リスト
- Interpretability of the Intent Detection Problem: A New Approach [0.0]
リカレントニューラルネットワークが意図検出タスクを解くための内部メカニズムは理解されていない。
動的システム理論を用いて、RNNアーキテクチャがこの問題にどのように対処するかを分析する。
我々のフレームワークは、読み出しアライメントから幾何学的分離を分離し、実世界の性能格差に対する新しいメカニスティックな説明を提供する。
論文 参考訳(メタデータ) (2026-01-23T20:27:47Z) - Unveiling the Training Dynamics of ReLU Networks through a Linear Lens [0.0]
我々は多層ReLUネットワークを入力依存の「有効重み」を持つ単層線形モデルに再キャストする。
任意の入力サンプルに対して、ReLUユニットの活性化パターンはユニークな計算経路を生成する。
トレーニングが進むにつれて、同じクラスのサンプルに対応する効果的な重みが収束し、異なるクラスのものが分岐する。
論文 参考訳(メタデータ) (2025-11-07T02:59:51Z) - Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。
KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
論文 参考訳(メタデータ) (2025-10-23T07:12:26Z) - Functional Indirection Neural Estimator for Better Out-of-distribution
Generalization [27.291114360472243]
FINE(Functional Indirection Neural Estorimator)は、入力されたデータをオンザフライで出力する関数を構成することを学ぶ。
我々は、MNIST、Omniglot、CIFAR100データセットの画像を用いて、IQタスク上でFINEと競合するモデルを訓練する。
FINEはすべてのタスクで最高のパフォーマンスを達成するだけでなく、小さなデータシナリオにも適応できる。
論文 参考訳(メタデータ) (2022-10-23T14:43:02Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳(メタデータ) (2022-02-10T09:30:31Z) - Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。
サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。
本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-11T15:46:50Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。
線形化ネットワークを用いてこれらの量の効率的な近似を行う。
本稿では,データセットの要約など,いくつかの問題に適用する。
論文 参考訳(メタデータ) (2021-01-17T10:29:29Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳(メタデータ) (2020-06-22T12:46:44Z) - Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights [16.538973310830414]
望ましい事前分類は、重みをコンパクトに表現し、重み間の相関を捉え、事前知識を含ませることである。
i) 相関重み構造を柔軟にエンコード可能な単位埋め込みに基づくネットワーク重みのプロセスベース階層モデルと,(ii) 関数空間の規則化に便利な入力依存型の重み前のモデルを提案する。
これらのモデルは、分布外データに基づいて望ましいテスト時間不確実性推定を提供し、カーネルを用いたニューラルネットワークの帰納バイアスをモデル化する事例を示し、アクティブラーニングベンチマークで競合予測性能を示す。
論文 参考訳(メタデータ) (2020-02-10T07:19:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。