論文の概要: From Latent Space to Training Data: Explainable Specialization in Minimal MLPs

• arxiv url: http://arxiv.org/abs/2605.25939v1
• Date: Mon, 25 May 2026 15:18:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.426464
• Title: From Latent Space to Training Data: Explainable Specialization in Minimal MLPs
• Title（参考訳）: 潜時空間からトレーニングデータ:ミニマルMPPにおける説明可能な特殊化
• Abstract要約: トレーニングバイアスが隠れたニューロンを最小の1つの隠れた層に特化させるかどうかを検討する。 均一にサンプリングされた1次元データセットの実験では、N = 3 から N = 100 までの安定なパターンが480個の制御されたランで示されている。
• 参考スコア（独自算出の注目度）: 0.47554242259005197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We here study whether training biases can make hidden neurons specialize in minimal one-hidden-layer MLPs, and whether such specialization improves prototype-based reconstruction of the training dataset from the learned weights. We consider Gaussianactivation MLPs of width equal to dataset size and compare three structural losses that respectively encourage coverage of the training samples, separation between neuron-induced prototypes, and low overlap of hidden responses, against the standard fitting baseline. Experiments on uniformly sampled one-dimensional datasets show a stable pattern from N = 3 to N = 100 across 480 controlled runs. Coverage regularization gives the lowest mean reconstruction error at every tested size and raises the prototype-usage specialization ratio relative to the standard baseline, while separation has mixed effects and overlap penalties are systematically harmful. We show that the harm is not an optimization failure: overlap-active approaches fit the data as well as overlap-free ones but route the optimizer to a degenerate equilibrium in which prototype centers are pushed outside the convex hull of the training inputs. Coverage cannot reward this expulsion and acts as an attractor: separation admits it only at large temperature and overlap admits it at the nominal hyperparameter choice. A direct τ-sweep on the separation-only mask and a prototype-position visualization at N = 100 confirm the mechanism. The findings yield a simple design principle for prototype-recoverability-aware training: every repulsive structural loss must be compensated by a compatible attractor, or it will collapse the latent geometry it was meant to refine.
• Abstract（参考訳）: トレーニングバイアスが隠れたニューロンに最小の1重層MLPを特化させることができるか,そしてそのような特殊化が学習重量からトレーニングデータセットのプロトタイプベース再構築を改善するかを検討する。 トレーニングサンプルのカバレッジ,ニューロン誘発型プロトタイプの分離,隠れた応答の重複の少ない3つの構造的損失を標準適合基準に対して比較し,データセットサイズに等しい幅のガウス活性化MLPについて検討した。 均一にサンプリングされた1次元データセットの実験では、N = 3 から N = 100 までの安定なパターンが480個の制御されたランで示されている。 被覆正則化は、試験された各サイズで最低平均復元誤差を与え、標準基準値に対するプロトタイプ利用特化比を上昇させる一方、分離は混合効果を有し、重なり合う罰則は体系的に有害である。 オーバーラップアクティブアプローチはデータとオーバーラップフリーアプローチに適合するが、オプティマイザをトレーニング入力の凸殻の外側でプロトタイプセンタを押圧する縮退平衡にルーティングする。 分離は高温でのみ認められ、重複は名目上のハイパーパラメータ選択で認められる。 分離専用マスク上の直接τ-スウィープと、N = 100でのプロトタイプ配置の可視化により、この機構が確認できる。 全ての反発的な構造的損失は、互換性のあるアトラクタによって補償されなければならない。

関連論文リスト

• Residual-Guided Randomized Neural Networks [7.698602367824994]
  ランダム化されたニューラルネットワークは、隠れた層パラメータへの入力をランダムに固定し、出力重みをクローズドな形式で学習することで、高速で分析可能なトレーニングを可能にする。 本稿では, 隠蔽層を閉鎖型残留劣化基準を用いてグリード的に構築する, 簡易かつ広範に適用可能な残留ガイド法を提案する。 提案した残差誘導モデルが,精度,安定性,総合ランク付け性能において,ベースラインモデルよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-28T12:30:08Z)
• BoRAD: Bootstrap your Own Representations for Multi-class Anomaly Detection [0.0]
  レコンストラクションに基づく異常検出は, 産業検査には魅力的だが, カテゴリー別訓練から1対1設定までスケールアップすることは困難である。 ラベルのないトレーニングフレームワークである textbfBoRAD を提案し,これを表現能力割当問題として扱う。
  論文  参考訳（メタデータ） (2026-06-12T05:29:25Z)
• SphereVAD: Training-Free Video Anomaly Detection via Geodesic Inference on the Unit Hypersphere [90.85001795656633]
  ビデオ異常検出(VAD)は、トリミングされていない監視ビデオの通常のパターンから逸脱するイベントを自動的に識別することを目的としている。 SphereVADはトレーニング不要でゼロショットのVADフレームワークで、単位超球面上の準比測地線推定をvon Mises-Fisher (vMF) と再放送する。
  論文  参考訳（メタデータ） (2026-05-08T16:57:38Z)
• DDCL: Deep Dual Competitive Learning: A Differentiable End-to-End Framework for Unsupervised Prototype-Based Representation Learning [0.0]
  ディープクラスタリングにおける永続的な構造的弱点は、特徴学習とクラスタ割り当ての切り離しである。 本稿では,教師なし表現学習のためのエンドツーエンドフレームワークであるDeep Dual Competitive Learningを紹介する。
  論文  参考訳（メタデータ） (2026-04-02T08:02:27Z)
• This Looks Distinctly Like That: Grounding Interpretable Recognition in Stiefel Geometry against Neural Collapse [28.864167134877885]
  プロトタイプネットワークは、本質的なケースベースの説明メカニズムを提供するが、その解釈可能性はしばしばプロトタイプの崩壊によって損なわれる。 適応多様体プロトタイプ (AMP) は, クラスプロトタイプを正規直交基底として表現し, ランク1のプロトタイプの崩壊を建設によって実現不可能にする。 AMPは最先端の分類精度を達成し、従来の解釈可能なモデルよりも因果的忠実性を大幅に改善する。
  論文  参考訳（メタデータ） (2026-03-09T13:36:54Z)
• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• DispFormer: A Pretrained Transformer Incorporating Physical Constraints for Dispersion Curve Inversion [56.64622091009756]
  本研究では、レイリー波位相と群分散曲線からプロファイルインバージョンを$v_s$とするトランスフォーマーベースのニューラルネットワークであるDispFormerを紹介する。 DispFormerは各期間に分散データを個別に処理し、ネットワークの変更やデータセットのトレーニングとテストの厳格な調整を必要とせずに、さまざまな長さを処理できる。
  論文  参考訳（メタデータ） (2025-01-08T09:08:24Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Rethinking Prototypical Contrastive Learning through Alignment, Uniformity and Correlation [24.794022951873156]
  我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。 具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
  論文  参考訳（メタデータ） (2022-10-18T22:33:12Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。