論文の概要: Multiplicative Logit Adjustment Approximates Neural-Collapse-Aware Decision Boundary Adjustment
- arxiv url: http://arxiv.org/abs/2409.17582v1
- Date: Thu, 26 Sep 2024 07:01:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 22:46:14.707830
- Title: Multiplicative Logit Adjustment Approximates Neural-Collapse-Aware Decision Boundary Adjustment
- Title(参考訳): マルチプライバティブ・ロジット調整近似によるニューラル・コラプス対応決定境界調整
- Authors: Naoya Hasegawa, Issei Sato,
- Abstract要約: 我々は,神経崩壊に基づく特徴拡散を推定し,最適決定境界を調節する理論を開発する。
より現実的な条件下でのMLAの実用性について述べる。
- 参考スコア(独自算出の注目度): 32.01426831450348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world data distributions are often highly skewed. This has spurred a growing body of research on long-tailed recognition to address this imbalance in training classification models. Among the methods studied, multiplicative logit adjustment (MLA) stands out as a simple and effective method. However, it lacks theoretical guarantees, which raises concerns about the optimality of its adjustment method. We provide a theoretical justification for the effectiveness of MLA with the following two-step theory. First, we develop a theory that adjusts optimal decision boundaries by estimating feature spread on the basis of neural collapse. Then, we demonstrate that MLA approximates this optimal method. Additionally, through experiments on long-tailed datasets, we illustrate the practical usefulness of MLA under more realistic conditions. We also offer experimental insights to guide the tuning of MLA's hyperparameters.
- Abstract(参考訳): 実世界のデータ分布は、しばしば非常に歪んでいる。
これは、訓練分類モデルにおけるこの不均衡に対処するために、長い尾の認識に関する研究が成長するきっかけとなった。
研究手法のうち、乗算ロジット調整(MLA)は単純で効果的な方法である。
しかし、理論的な保証が欠如しており、調整法の最適性に関する懸念が持ち上がる。
以下の2段階理論を用いて, MLAの有効性を理論的に正当化する。
まず,神経崩壊に基づく特徴の拡散を推定し,最適決定境界を調節する理論を考案する。
そして, MLA がこの最適手法を近似することを示した。
さらに、長い尾を持つデータセットの実験を通して、より現実的な条件下でのMLAの実用的有用性を説明する。
MLAのハイパーパラメータのチューニングをガイドする実験的な洞察も提供する。
関連論文リスト
- Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。
PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
論文 参考訳(メタデータ) (2024-07-18T17:35:32Z) - Semi-Supervised Learning guided by the Generalized Bayes Rule under Soft Revision [0.0]
擬似ラベル選択のためのロバストな基準としてソフトリビジョンを用いたガンマ・マキシミン法の提案
我々は,最適化問題としてソフトリビジョンを用いたガンマ・マキシミン法を用いて,最適な擬似ラベル付きデータを求めるタスクを定式化する。
特にラベル付きデータの比率が低い場合, ソフトリビジョンによるガンマ・マキシミン法は非常に有望な結果が得られることが観察された。
論文 参考訳(メタデータ) (2024-05-24T07:30:45Z) - Unraveling overoptimism and publication bias in ML-driven science [14.38643099447636]
最近の研究では、機械学習モデルのパフォーマンスが過度に最適化されていることが示唆されている。
本稿では,パラメトリック学習曲線と前述のバイアスを統合することで,観測精度の新たなモデルを提案する。
神経学的条件の分類のメタ分析にモデルを適用し、各領域におけるMLに基づく予測の固有の限界を推定する。
論文 参考訳(メタデータ) (2024-05-23T10:43:20Z) - Towards Optimal Learning of Language Models [124.65669486710992]
言語モデル(LM)の最適学習の理論を提案する。
我々は、最適学習過程における力学の性質を明らかにするために、学習法則という定理を導出した。
我々は、LMの最適学習が、LMのスケーリング法則における係数の改善に起因することを実証的に検証した。
論文 参考訳(メタデータ) (2024-02-27T18:52:19Z) - Reconstructing Graph Diffusion History from a Single Snapshot [87.20550495678907]
A single SnapsHot (DASH) から拡散履歴を再構築するための新しいバリセンターの定式化を提案する。
本研究では,拡散パラメータ推定のNP硬度により,拡散パラメータの推定誤差が避けられないことを証明する。
また、DITTO(Diffusion hitting Times with Optimal proposal)という効果的な解法も開発している。
論文 参考訳(メタデータ) (2023-06-01T09:39:32Z) - B-Learner: Quasi-Oracle Bounds on Heterogeneous Causal Effects Under
Hidden Confounding [51.74479522965712]
本稿では,B-Learnerと呼ばれるメタラーナーを提案する。
我々は、その推定が有効で、鋭く、効率的であることを証明し、既存の方法よりも一般的な条件下で構成推定器に対して準オーラル特性を持つことを示した。
論文 参考訳(メタデータ) (2023-04-20T18:07:19Z) - Nonparametric mixture MLEs under Gaussian-smoothed optimal transport
distance [0.39373541926236766]
我々は、真のデータ生成分布を近似するために、非平滑なフレームワークの代わりにGOTフレームワークを適用する。
我々の分析における重要なステップは、ガウス畳み込みリプシッツ函数の新しいジャクソン型近似の確立である。
この洞察は、非パラメトリックMLEと新しいGOTフレームワークを分析する既存のテクニックを橋渡しする。
論文 参考訳(メタデータ) (2021-12-04T20:05:58Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳(メタデータ) (2021-07-02T15:20:41Z) - Density Fixing: Simple yet Effective Regularization Method based on the
Class Prior [2.3859169601259347]
本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。
提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
論文 参考訳(メタデータ) (2020-07-08T04:58:22Z) - Metric-Learning-Assisted Domain Adaptation [18.62119154143642]
多くの既存ドメインアライメント手法は、ソースとターゲットの分布のアライメントとともに、低いソースリスクが低いターゲットリスクを意味すると仮定している。
本稿では,特徴整合性向上を支援するために,新しい三重項損失を用いたメタラーニング支援ドメイン適応法(MLA-DA)を提案する。
論文 参考訳(メタデータ) (2020-04-23T04:20:02Z) - Localized Debiased Machine Learning: Efficient Inference on Quantile
Treatment Effects and Beyond [69.83813153444115]
因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。
Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。
本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
論文 参考訳(メタデータ) (2019-12-30T14:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。