論文の概要: What Cohort INRs Encode and Where to Freeze Them

• arxiv url: http://arxiv.org/abs/2605.08298v1
• Date: Fri, 08 May 2026 11:09:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.544979
• Title: What Cohort INRs Encode and Where to Freeze Them
• Title（参考訳）: Cohort INRがエンコードしたものと、どこをフリーズするか
• Authors: Vasiliki Sideri-Lampretsa, Sophie Starck, Robbie Holland, Julian McGinnis, Daniel Rueckert,
• Abstract要約: 我々は、コホート学習INRにおけるどの層移動が、その層が符号化したものを特徴付けないかを同定する。 我々は、INR活性化の最初のSAE分解をスパース辞書原子に提示する。 これらの結果は、コホートで訓練されたINRの転移を初めて機械論的に説明し、それらの活性化を検査可能な辞書原子に変換する。
• 参考スコア（独自算出の注目度）: 16.730141546668516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reusing the early layers of cohort-trained INRs as initialization for new signals has been shown to accelerate and improve signal fitting, yet it remains unclear which layers of the shared encoder learn transferable representations and what those representations encode. We address both questions for two standard backbones, SIREN and Fourier-feature MLPs (FFMLP). First, sweeping the freeze depth across the shared encoder at test time, we find that the optimum coincides with the layer of highest weight stable rank. Moreover, freezing at this depth matches or improves on the standard fine-tuning recipe across all our experiments. Second, identifying which layer transfers does not characterize what that layer encodes. To address this we adopt sparse autoencoders (SAEs), the dominant tool in mechanistic interpretability, and present the first SAE decomposition of INR activations into sparse dictionary atoms. Interestingly, SIREN and FFMLP achieve comparable cohort-fitting quality, but learn qualitatively different dictionaries. Cohort SIREN's atoms are localized, tiling the coordinate plane such that each atom fires in a confined region independent of cohort content. Cohort FFMLP's atoms are image-spanning, tracing the contours of memorized cohort signals. Single-atom ablations confirm causal use of these dictionaries: a single FFMLP atom out of 4096 can drop PSNR by up to 10.6 dB across the image, while SIREN ablations remain confined to where the atom fires. Together, these results give the first mechanistic account of what transfers in cohort-trained INRs and turn their activations into inspectable dictionary atoms. These tools open a path towards characterizing what INRs encode and towards architectures designed for generalization rather than memorization.
• Abstract（参考訳）: 新しい信号の初期化としてコホート訓練されたINRの初期の層を再利用して信号の適応を加速し改善することが示されているが、共有エンコーダのどの層が転送可能な表現を学習し、それらの表現をエンコードしているかは定かではない。 SIRENとFFMLP (Fourier-Feature MLP) の2つの標準バックボーンについて,両問題に対処する。 まず、テスト時に共有エンコーダの凍結深度を調べたところ、最適値は最高重量安定ランクの層と一致していることがわかった。 さらに、この深さでの凍結は、すべての実験で標準的な微調整のレシピと一致または改善します。 第二に、どの層が転送されるかは、その層がエンコードしたものを特徴付けない。 これを解決するために、機械的解釈可能性において支配的なツールであるスパースオートエンコーダ(SAE)を採用し、INRの活性化をスパース辞書原子に分解する最初のSAEを提示する。 興味深いことに、SIRENとFFMLPは同等のコホート適合性を達成するが、質的に異なる辞書を学習する。 コホートSIRENの原子は局所化され、コホート含有量とは無関係に、各原子が閉じ込められた領域で発火するように座標面をタイリングする。 コホートFFMLPの原子は画像スパンニングされ、記憶されたコホート信号の輪郭を辿る。 4096の1つのFFMLP原子は、画像全体で最大10.6dBのPSNRを減少させることができるが、SIRENの増幅は原子の発火箇所に留まっている。 これらの結果は、コホートで訓練されたINRが何を伝達し、それらの活性化を検査可能な辞書原子に変換するかという最初の力学的な説明を与える。 これらのツールは、INRがエンコードしたものと、記憶ではなく一般化のために設計されたアーキテクチャを特徴付けるための道を開く。

関連論文リスト

• Optimizing Rank for High-Fidelity Implicit Neural Representations [18.87164151867775]
  バニラ多層パーセプトロン(MLP)に基づくインプリシト表現(INR)は、高周波コンテンツを表現できないと広く信じられている。 本稿では,バニラ信号の低周波バイアスは,高頻度コンテンツを学習するための固有のアーキテクチャ的制約である,という概念に挑戦する。
  論文  参考訳（メタデータ） (2025-12-16T12:52:30Z)
• Unified CNNs and transformers underlying learning mechanism reveals multi-head attention modus vivendi [0.0]
  畳み込みニューラルネットワーク(CNN)は、層に沿って進行する入力画像の短距離相関を評価する。 視覚変換器(ViT)アーキテクチャは、完全に接続された層からなる繰り返し変換器エンコーダを用いて、長距離相関を評価する。 本研究は,CNNとViTアーキテクチャが基盤となる学習機構の統一に由来することを示す。
  論文  参考訳（メタデータ） (2025-01-22T14:19:48Z)
• Learning Transferable Features for Implicit Neural Representations [37.12083836826336]
  Inlicit Neural representations (INR) は、逆問題やニューラルレンダリングなど、様々な応用で成功している。 我々は新しいINRトレーニングフレームワークSTRAINERを導入し、新しい信号にINRを適合させるトランスファー可能な特徴を学習する。 我々は,複数の領域内および領域外信号適合タスクおよび逆問題に対するSTRAINERの評価を行った。
  論文  参考訳（メタデータ） (2024-09-15T00:53:44Z)
• Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
  一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。 本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。 我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
  論文  参考訳（メタデータ） (2023-10-09T11:26:58Z)
• On Robust Learning from Noisy Labels: A Permutation Layer Approach [53.798757734297986]
  本稿では、深層ニューラルネットワーク(DNN)のトレーニング過程を動的に校正するPermLLと呼ばれる置換層学習手法を提案する。 本稿では,PermLLの2つの変種について述べる。一方はモデルの予測に置換層を適用し,他方は与えられた雑音ラベルに直接適用する。 我々はPermLLを実験的に検証し、実際のデータセットと合成データセットの両方で最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2022-11-29T03:01:48Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Conditioning Trick for Training Stable GANs [70.15099665710336]
  本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。 我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
  論文  参考訳（メタデータ） (2020-10-12T16:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。