論文の概要: Architecture Shapes Transfer Specificity in Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2606.06827v1
• Date: Fri, 05 Jun 2026 02:05:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.513634
• Title: Architecture Shapes Transfer Specificity in Implicit Neural Representations
• Title（参考訳）: 入射ニューラル表現におけるアーキテクチャ形状の伝達特異性
• Authors: D Yang Eng,
• Abstract要約: 座標ネットワークにおける転送は、しばしばウォームスタートゲインによって測定されるが、そのゲインがソース固有の構造を反映するか、一般的な重量再利用を反映するかは明らかになっていない。 本研究では, 制御された解析試験, 2次元蓋駆動キャビティNavier-Stokesベンチマーク, 1次元PDE基準解スイートを用いて検討した。 設定、転送サイズ、転送特異性は明確に分離される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer in coordinate networks is often measured by warm-start gain, but whether that gain reflects source-specific structure or generic weight reuse is less clear. We study this question across three implicit neural representation (INR) families, SIREN, ReLU MLPs, and Fourier-feature MLPs, using controlled analytic tests, a 2D lid-driven-cavity Navier--Stokes benchmark, and 1D PDE reference-solution suites for heat, viscous Burgers, and focusing cubic NLS. The analytic tests use independent-seed random controls, while the PDE benchmarks use alternate same-family source controls and auxiliary ablations. Across settings, transfer magnitude and transfer specificity separate clearly. In a 10-seed controlled 1D geometric test, Fourier Features show the largest structured transfer ($33.1\times$), followed by SIREN ($23.0\times$) and ReLU ($10.7\times$), but ReLU is far more selective: random-control transfer is $0.41\times$ for ReLU versus $14.24\times$ for SIREN. On a controlled two-parameter 1D family, the ranking changes: ReLU gives the clearest structured-versus-control separation at default settings, whereas Fourier Features improve only after bandwidth retuning. In Navier--Stokes and the broader 1D PDE suite, no single architecture dominates every equation, yet the same pattern remains: SIREN often reuses weights broadly, whereas ReLU and, in some equations, Fourier Features are more source-selective. Static diagnostics remain weak, and the heuristic scaling law $A_{\text{transfer}} \propto 1/Δt^2$ is rejected in the implemented 1D audit. These results position transfer specificity as a useful diagnostic for coordinate networks and suggest that architecture selection in scientific machine learning should be evaluated under explicit control conditions, not by transfer magnitude alone.
• Abstract（参考訳）: 座標ネットワークにおける転送は、しばしばウォームスタートゲインによって測定されるが、そのゲインがソース固有の構造を反映するか、一般的な重量再利用を反映するかは明らかになっていない。 本研究では,3つの暗黙的神経表現(INR)ファミリー,SIREN,ReLU MLPs,Fourier-feature MLPsについて,制御された解析試験,2D lid-driven-cavity Navier-Stokesベンチマーク,熱,粘性バーガー,集中型NLSのための1D PDE参照ソリューションスイートを用いて検討した。 分析テストでは、独立種ランダムコントロールを使用し、PDEベンチマークでは、別の同族ソースコントロールと補助アブリゲーションを使用する。 設定、転送サイズ、転送特異性は明確に分離される。 10列の制御された1D幾何学的テストでは、Fourier Featuresが最大の構造化された転送(33.1\times$)を示し、続いてSIREN(23.0\times$)とReLU(10.7\times$)が続くが、ReLUははるかに選択的である:ReLUは、ReLUが0.41\times$であるのに対して、SIRENは14.24\times$である。 コントロールされた2パラメータの1Dファミリーでは、ランキングが変更される。 ReLUはデフォルト設定で最もクリアな構造化された逆制御の分離を提供するが、フーリエ機能は帯域幅の再調整後にのみ改善される。 Navier-Stokesやより広い1D PDEスイートでは、すべての方程式を支配できないが、同じパターンが残っている: SIRENは、しばしば重量を広く再利用するが、ReLUやいくつかの方程式では、フーリエ特徴はよりソース選択的である。 A_{\text{transfer}} \propto 1/Δt^2$は1D監査で拒否される。 これらの結果は、座標ネットワークの有用な診断法として位置移動特異性(transfer transfer specificity)を定め、科学機械学習におけるアーキテクチャ選択は、伝達等級だけでではなく、明示的な制御条件下で評価されるべきであることを示唆している。

関連論文リスト

• Dead Directions: Geometric Singular Learning [0.0]
  特異学習理論と情報幾何学は、主に別々の語彙で同じパラメータ空間を研究してきた。 我々はそれらを1つのプリミティブ、デッド方向、すなわちフィッシャー計量が退化する単位ベクトルを通してブリッジする。 滑らかな繊維上の選択規則は、この速度を実対数正準しきい値に対する渡辺の単一方向寄与に変換する。 多層K-FAC分解は、各フィッシャーブロックをアクティベーションと勾配側率の積として記述する。
  論文  参考訳（メタデータ） (2026-06-04T09:54:08Z)
• Striding Across Reynolds Numbers: Representation Geometry in Neural PDE Generalisation [0.5451632647096261]
  ニューラルPDE解法におけるクロスレイノルズ一般化は、いまだにあまり特徴づけられていない。 我々は、この仮説を、ソーストレーニングされた畳み込みオートエンコーダ潜在空間の状態と一致するConvAE-Relayを通して検証する。 実験では、整合がマニフォールド上に留まっている場合、ソース・レジームのダイナミックス方向が転送可能である(コサイン類似度0.84)ことが確認された。
  論文  参考訳（メタデータ） (2026-05-28T15:49:26Z)
• Scale-Equivariant Generative Forecasting: Weight-Tied Dilated Convolutions, Wavelet Scattering Inputs, and Spectral-Consistency Training for Self-Similar Time Series [0.0]
  1次元因果ネットワークの離散スケール等式を正確に定義する。 ダイアディック拡張は、カーネル重みがレベル間で共有されるような拡張畳み込みスタックで可換であることが証明される。 30年間のS&P 500日間のログリターンで、SE-WaveNetのサンプルは、Allan-Varianceトップ25宇宙上での経験的なスケール・崩壊の診断を再現した。
  論文  参考訳（メタデータ） (2026-05-17T18:21:30Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• Measurement-Free Ancilla Recycling via Blind Reset: A Cross-Platform Study on Superconducting and Trapped-Ion Processors [0.913755431537592]
  我々は,IQM Garnet,Rigetti Ankaa-3,IonQ上でのブラインドリセット – 大規模シーケンスリプレイによるユニタリリセット – の評価を行った。 Blindリセットは、NVQLinkクラスのフィードバックオーバーヘッドの下で、サイクルレイテンシを最大38倍に削減する。
  論文  参考訳（メタデータ） (2026-02-24T06:55:50Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
  楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。 本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。 $|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
  論文  参考訳（メタデータ） (2025-12-22T10:03:51Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• How Learnable Grids Recover Fine Detail in Low Dimensions: A Neural Tangent Kernel Analysis of Multigrid Parametric Encodings [106.3726679697804]
  フーリエ特徴符号化(FFE)とマルチグリッドパラメトリック符号化(MPE)の2つの手法を比較した。 MPEは低次元マッピングの標準と見なされるが、MPEはそれらを上回り、高解像度で詳細な表現を学習することが多い。 我々は,MPEが学習可能な埋め込みではなく,グリッド構造を通じてネットワークの性能を向上させることを証明した。
  論文  参考訳（メタデータ） (2025-04-18T02:18:08Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。