Fugu-MT 論文翻訳(概要): Implicit Hypothesis Testing and Divergence Preservation in Neural Network Representations

論文の概要: Implicit Hypothesis Testing and Divergence Preservation in Neural Network Representations

arxiv url: http://arxiv.org/abs/2601.20477v1
Date: Wed, 28 Jan 2026 10:46:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-29 15:46:06.900124
Title: Implicit Hypothesis Testing and Divergence Preservation in Neural Network Representations
Title（参考訳）: ニューラルネットワーク表現における暗黙の仮説テストとダイバージェンス保存
Authors: Kadircan Aksoy, Peter Jung, Protim Bhattacharjee,
Abstract要約: 二元仮説テストのレンズによる神経分類器の教師付きトレーニングダイナミクスについて検討した。表現のクラス条件分布間のバイナリテストの集合として分類をモデル化し、実験により、訓練軌道に沿って、よく一般化されたネットワークが、ネイマン・ピアソンの最適決定規則と整合していることが示される。
参考スコア（独自算出の注目度）: 3.641372680589358
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the supervised training dynamics of neural classifiers through the lens of binary hypothesis testing. We model classification as a set of binary tests between class-conditional distributions of representations and empirically show that, along training trajectories, well-generalizing networks increasingly align with Neyman-Pearson optimal decision rules via monotonic improvements in KL divergence that relate to error rate exponents. We finally discuss how this yields an explanation and possible training or regularization strategies for different classes of neural networks.
Abstract（参考訳）: 二元仮説テストのレンズによる神経分類器の教師付きトレーニングダイナミクスについて検討した。我々は、表現のクラス条件分布間のバイナリテストの集合として分類をモデル化し、経験的に、トレーニング軌道に沿って、誤り率指数に関連するKL発散の単調な改善により、ナイマン・ピアソンの最適決定規則に適合するネットワークが増えていることを示す。最終的に、これがニューラルネットワークの異なるクラスに対する説明とトレーニングや正規化戦略をもたらすかを論じる。

関連論文リスト

Refining Neural Activation Patterns for Layer-Level Concept Discovery in Neural Network-Based Receivers [5.668124846154998]
ニューラルネットワークの概念発見は、分散層全体のパターンを見渡すことで、個々のニューロンや人間の解釈可能な特徴をターゲットとすることが多い。本研究では,階層レベルの概念を識別するために,全層活性化分布をクラスタ化するニューラルネットワーク活性化パターン(NAP)手法について検討する。無線受信機モデルでは、異なる概念が出現せず、代わりにSignal-to-Noise Ratio (SNR) によって形作られた連続活性化多様体が観察された。
論文参考訳（メタデータ） (2025-05-21T14:23:38Z)
Regularized Neural Ensemblers [55.15643209328513]
本研究では,正規化ニューラルネットワークをアンサンブル手法として活用することを検討する。低多様性のアンサンブルを学習するリスクを動機として,ランダムにベースモデル予測をドロップすることで,アンサンブルモデルの正規化を提案する。このアプローチはアンサンブル内の多様性の低い境界を提供し、過度な適合を減らし、一般化能力を向上させる。
論文参考訳（メタデータ） (2024-10-06T15:25:39Z)
Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs [5.7166378791349315]
我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
論文参考訳（メタデータ） (2023-06-10T16:36:22Z)
Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文参考訳（メタデータ） (2023-05-17T17:47:19Z)
On the Convergence of Shallow Neural Network Training with Randomly Masked Neurons [11.119895959906085]
密度の浅いニューラルネットワークを前提として、ランダムに選択された関数の作成、トレーニング、組み合わせに重点を置いています。 i)$ theworks' Neural kernel, $ii)$ the surrogate function' gradient, and $iii)$ surrogate functionのサンプリングと組み合わせの仕方を解析することにより、トレーニングエラーの線形収束率を証明できる。固定されたニューロン選択確率では、サロゲートモデルの数が増えるにつれて誤差項は減少し、局所的なトレーニングステップの数が増えるにつれて増加する。
論文参考訳（メタデータ） (2021-12-05T19:51:14Z)
Intraclass clustering: an implicit learning ability that regularizes DNNs [22.732204569029648]
ディープニューラルネットワークは,クラス間で有意義なクラスタを抽出する能力によって正規化されることを示す。クラス内クラスタリングの尺度は、トレーニングデータのニューロンおよび層レベルの表現に基づいて設計される。
論文参考訳（メタデータ） (2021-03-11T15:26:27Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
類似サンプル間の予測分布を解析する新しい正規化法を提案する。これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
論文参考訳（メタデータ） (2020-03-31T06:03:51Z)
Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
論文参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。