Fugu-MT 論文翻訳(概要): An Analytical Model for Overparameterized Learning Under Class Imbalance

論文の概要: An Analytical Model for Overparameterized Learning Under Class Imbalance

arxiv url: http://arxiv.org/abs/2503.05289v1
Date: Fri, 07 Mar 2025 10:09:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-10 12:21:37.977929
Title: An Analytical Model for Overparameterized Learning Under Class Imbalance
Title（参考訳）: クラス不均衡下での過パラメータ学習の解析モデル
Authors: Eliav Mor, Yair Carmon,
Abstract要約: 我々は,いくつかの実践的学習手法のテスト誤差に対する厳密で閉じた形式近似を開発する。我々の近似は、標準的なクロスエントロピー最小化の落とし穴をいかに、いつ克服するかを強調しながら、これらの手法を解析的にチューニングし比較することができる。
参考スコア（独自算出の注目度）: 17.402771370806384
License:
Abstract: We study class-imbalanced linear classification in a high-dimensional Gaussian mixture model. We develop a tight, closed form approximation for the test error of several practical learning methods, including logit adjustment and class dependent temperature. Our approximation allows us to analytically tune and compare these methods, highlighting how and when they overcome the pitfalls of standard cross-entropy minimization. We test our theoretical findings on simulated data and imbalanced CIFAR10, MNIST and FashionMNIST datasets.
Abstract（参考訳）: 高次元ガウス混合モデルにおけるクラス不均衡線形分類について検討する。我々は,ロジット調整やクラス依存温度など,いくつかの実践的学習手法のテスト誤差に対する厳密な閉形式近似を開発した。我々の近似は、標準的なクロスエントロピー最小化の落とし穴をいかに、いつ克服するかを強調しながら、これらの手法を解析的にチューニングし比較することができる。我々は、シミュレーションデータと不均衡なCIFAR10、MNIST、FashionMNISTデータセットに関する理論的知見を検証した。

関連論文リスト

Symmetry-Preserving Diffusion Models via Target Symmetrization [43.83899968118655]
本稿では, 対称性付き損失関数を用いて等価性を強制する新しい手法を提案する。本手法では,モンテカルロサンプリングを用いて平均値を推定し,計算オーバーヘッドを最小限に抑える。実験では,既存の方法と比較して試料の品質が向上した。
論文参考訳（メタデータ） (2025-02-14T03:26:57Z)
Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
論文参考訳（メタデータ） (2024-11-02T07:06:53Z)
Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文参考訳（メタデータ） (2024-04-11T09:23:36Z)
Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文参考訳（メタデータ） (2024-04-10T14:38:58Z)
Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文参考訳（メタデータ） (2023-12-19T21:45:38Z)
A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文参考訳（メタデータ） (2023-05-31T15:33:16Z)
On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
論文参考訳（メタデータ） (2023-03-14T03:04:37Z)
Mixed Semi-Supervised Generalized-Linear-Regression with Applications to Deep-Learning and Interpolators [6.537685198688539]
本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。我々は,標準教師付きモデルと比較して,大幅な改善を実現するための方法論の有効性を実証する。
論文参考訳（メタデータ） (2023-02-19T09:55:18Z)
GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文参考訳（メタデータ） (2021-02-22T19:42:40Z)
Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。