論文の概要: Neural Prior Estimation: Learning Class Priors from Latent Representations

• arxiv url: http://arxiv.org/abs/2602.17853v1
• Date: Thu, 19 Feb 2026 21:36:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.156283
• Title: Neural Prior Estimation: Learning Class Priors from Latent Representations
• Title（参考訳）: ニューラルプライオリティ推定:潜在表現からの学習クラスプライオリティ
• Authors: Masoud Yavari, Payman Moallem,
• Abstract要約: クラス不均衡は、歪んだ効果的なクラスを事前に付与することにより、ディープニューラルネットワークの系統的バイアスを誘導する。 この研究は、潜在表現から特徴条件付きログプライア推定を学習するフレームワークであるNeural Prior Estor(NPE)を紹介する。
• 参考スコア（独自算出の注目度）: 1.0190716100703863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class imbalance induces systematic bias in deep neural networks by imposing a skewed effective class prior. This work introduces the Neural Prior Estimator (NPE), a framework that learns feature-conditioned log-prior estimates from latent representations. NPE employs one or more Prior Estimation Modules trained jointly with the backbone via a one-way logistic loss. Under the Neural Collapse regime, NPE is analytically shown to recover the class log-prior up to an additive constant, providing a theoretically grounded adaptive signal without requiring explicit class counts or distribution-specific hyperparameters. The learned estimate is incorporated into logit adjustment, forming NPE-LA, a principled mechanism for bias-aware prediction. Experiments on long-tailed CIFAR and imbalanced semantic segmentation benchmarks (STARE, ADE20K) demonstrate consistent improvements, particularly for underrepresented classes. NPE thus offers a lightweight and theoretically justified approach to learned prior estimation and imbalance-aware prediction.
• Abstract（参考訳）: クラス不均衡は、歪んだ効果的なクラスを事前に付与することにより、ディープニューラルネットワークの系統的バイアスを誘導する。 この研究は、潜在表現から特徴条件付きログプライア推定を学習するフレームワークであるNeural Prior Estimator (NPE)を紹介する。 NPEは1つ以上の事前推定モジュールを、一方のロジスティック損失を通じてバックボーンと共同でトレーニングしている。 ニューラル・コラプス法の下では、NPEは分析的にクラス・プリアを加法定数まで回復させ、明示的なクラス数や分布特異的なハイパーパラメータを必要とせず、理論的に基底化された適応信号を与える。 学習した推定値はロジット調整に組み込まれ、バイアス認識予測の原理的メカニズムであるNPE-LAを形成する。 長い尾を持つCIFARと不均衡なセマンティックセグメンテーションベンチマーク(STARE, ADE20K)の実験は、特に未表現クラスにおいて一貫した改善を示している。 したがって、NPEは事前推定と不均衡認識予測を学習するための軽量で理論的に正当化されたアプローチを提供する。

関連論文リスト

• A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning [51.505728136705564]
  我々は, 対角線ネットワークにおけるプレトレーニングファインチューニングパイプラインの解析理論を開発した。 異なる初期化選択により、ネットワークは4つの異なる微調整レジームに分類される。 以前の階層の縮小により、ネットワークは機能の再利用と洗練を両立することができ、より優れた一般化を実現している。
  論文  参考訳（メタデータ） (2026-02-23T17:19:33Z)
• Learning a Generative Meta-Model of LLM Activations [75.30161960337892]
  ネットワークの内部状態の分布を学習する"メタモデル"を作成します。 ステアリング介入前に学んだメタモデルを適用することで、損失が減少するにつれて、流速が向上する。 これらの結果は、生成的メタモデルが制限的な構造的仮定を伴わずに、解釈可能性へのスケーラブルな経路を提供することを示唆している。
  論文  参考訳（メタデータ） (2026-02-06T18:59:56Z)
• From Distributional to Quantile Neural Basis Models: the case of Electricity Price Forecasting [42.062078728472734]
  本稿では,Quantile Generalized Additive Modelの解釈可能性原理を取り入れたQuantile Neural Basis Modelを紹介する。 我々は,日頭電力価格予測へのアプローチを検証し,分散および量子レグレッションニューラルネットワークに匹敵する予測性能を実現する。
  論文  参考訳（メタデータ） (2025-09-17T15:55:59Z)
• Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective [0.0]
  勾配降下(SGD)は機械学習(ML)における最も基本的な最適化アルゴリズムの1つである。 この方程式から導かれる準定常分布とクルバック・リーブラー(KL)の発散による初期分布の関係について検討する。 MNISTおよびFashion-MNISTデータセット上で、古典的なSGDを用いて完全に接続されたニューラルネットワークをトレーニングすることにより、理論的結果を実験的に確認する。
  論文  参考訳（メタデータ） (2025-08-18T11:18:12Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Initial Guessing Bias: How Untrained Networks Favor Some Classes [0.09103230894909536]
  深層ニューラルネットワーク(DNN)の構造は、トレーニング開始前であっても、全ての予測を同じクラスに割り当てるようにモデルを条件付けることができることを示す。 この現象の存在は,データセット前処理手法を含むモデル選択の影響を受けていることを実証する。 ノード置換対称性の分解や自己回避の違反など理論的な結果を強調した。
  論文  参考訳（メタデータ） (2023-06-01T15:37:32Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights [16.538973310830414]
  望ましい事前分類は、重みをコンパクトに表現し、重み間の相関を捉え、事前知識を含ませることである。 i) 相関重み構造を柔軟にエンコード可能な単位埋め込みに基づくネットワーク重みのプロセスベース階層モデルと,(ii) 関数空間の規則化に便利な入力依存型の重み前のモデルを提案する。 これらのモデルは、分布外データに基づいて望ましいテスト時間不確実性推定を提供し、カーネルを用いたニューラルネットワークの帰納バイアスをモデル化する事例を示し、アクティブラーニングベンチマークで競合予測性能を示す。
  論文  参考訳（メタデータ） (2020-02-10T07:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。