論文の概要: Finite Probes Suffice: Identifiability and Universality for Weight-Space Learning

• arxiv url: http://arxiv.org/abs/2609.33901v2
• Date: Sat, 03 Oct 2026 08:33:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:47:30.690348
• Title: Finite Probes Suffice: Identifiability and Universality for Weight-Space Learning
• Title（参考訳）: 有限プローブだけで十分:重み空間学習における識別性と普遍性
• Abstract要約: 有限プローブに基づく表現が神経機能学の学習に十分である場合について検討する。 隠れプローブ応答から学習するための簡単なアーキテクチャであるHIDDENPROBEを紹介する。
• 参考スコア（独自算出の注目度）: 31.693601315170568
• License:
• Abstract: Learning properties of neural networks has recently attracted growing interest, with existing approaches operating either directly on network parameters or through probe-based representations of network behavior. While probing methods have shown strong empirical performance, their theoretical foundations remain limited. In this work, we study when finite probe-based representations are sufficient for learning neural functionals. We establish general identification and universality results for probing, and show that using intermediate hidden representations can provide significantly more informative representations than relying only on final outputs. Motivated by these results, we introduce HIDDENPROBE, a simple architecture for learning from hidden probe responses. Across a range of neural functional benchmarks, including both MLPs and Transformers, HIDDENPROBE consistently improves over existing probing methods and achieves state-of-the-art performance. Our code is publicly available on GitHub.
• Abstract（参考訳）: ニューラルネットワークの学習特性は、ネットワークパラメータを直接操作するか、あるいはネットワークの振る舞いをプローブベースで表現することで、近年関心を集めている。 探索法は強い経験的性能を示したが、理論的な基礎は依然として限られている。 本研究では,有限プローブに基づく表現が神経機能学習に十分であるかどうかを考察する。 探索のための一般的な識別と普遍性の結果を確立し、中間的な隠蔽表現を用いることで最終的な出力のみに依存するよりもはるかに有意義な表現が得られることを示す。 これらの結果から,隠れプローブ応答から学習するシンプルなアーキテクチャであるHIDDENPROBEを紹介した。 MLPとTransformersの両方を含む、さまざまな神経機能ベンチマークにおいて、HIDDENPROBEは、既存のプローブメソッドを一貫して改善し、最先端のパフォーマンスを実現している。 私たちのコードはGitHubで公開されています。

関連論文リスト

• ONNX-Net: Towards Universal Representations and Instant Performance Prediction for Neural Architectures [60.14199724905456]
  ONNX-Benchは、ONNXファイルに基づいた統一形式のニューラルネットワークの集合からなるベンチマークである。 ONNX-Netは、パフォーマンス予測器への入力として機能する自然言語記述を使用して、任意のニューラルネットワークを表す。 実験では,少数の事前学習サンプルのみを用いて,異なる探索空間をまたいだゼロショット性能を示す。
  論文  参考訳（メタデータ） (2025-10-06T15:43:36Z)
• Semi-KAN: KAN Provides an Effective Representation for Semi-Supervised Learning in Medical Image Segmentation [2.717521115234258]
  半教師付き医療画像セグメンテーション(SSMIS)は、CNNやViTに代わる有効な代替手段を提供する。 Kolmogorov-Arnold Networks (KAN) にヒントを得て,Semi-KANを提案する。 カンはより少ないパラメータで優れた表現学習能力を示す。 そこで本研究では,Semi-KANがベースラインネットワークを超越し,KANレイヤの削減と計算コストの削減を図っている。
  論文  参考訳（メタデータ） (2025-03-19T08:27:41Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Unsupervised Spatial-Temporal Feature Enrichment and Fidelity Preservation Network for Skeleton based Action Recognition [20.07820929037547]
  非教師なし骨格に基づく行動認識は近年顕著な進歩を遂げている。 既存の教師なし学習手法は、過度なオーバーフィッティング問題に悩まされる。 本稿では,高機能化を実現するために,非教師付き時空間特徴強調・忠実度保存フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-25T09:24:07Z)
• FFEINR: Flow Feature-Enhanced Implicit Neural Representation for Spatio-temporal Super-Resolution [4.577685231084759]
  本稿では,フローフィールドデータの超高分解能化のための特徴強調型ニューラルインシシット表現(FFEINR)を提案する。 モデル構造とサンプリング分解能の観点から、暗黙のニューラル表現を最大限に活用することができる。 FFEINRのトレーニングプロセスは、入力層に機能拡張を導入することで容易になる。
  論文  参考訳（メタデータ） (2023-08-24T02:28:18Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Deep Learning for Functional Data Analysis with Adaptive Basis Layers [11.831982475316641]
  本稿では,マイクロニューラルネットワークとして実装された各基底関数を隠蔽ユニットとする,新しいBasis Layerを用いたニューラルネットワークを提案する。 我々のアーキテクチャは、入力関数の無関係な変化ではなく、ターゲットに関連する情報にのみ焦点をあてる機能入力に、擬似次元還元を適用することを学ぶ。
  論文  参考訳（メタデータ） (2021-06-19T04:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。