論文の概要: Multiplicative Logit Adjustment Approximates Neural-Collapse-Aware Decision Boundary Adjustment

• arxiv url: http://arxiv.org/abs/2409.17582v1
• Date: Thu, 26 Sep 2024 07:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 22:46:14.707830
• Title: Multiplicative Logit Adjustment Approximates Neural-Collapse-Aware Decision Boundary Adjustment
• Title（参考訳）: マルチプライバティブ・ロジット調整近似によるニューラル・コラプス対応決定境界調整
• Authors: Naoya Hasegawa, Issei Sato,
• Abstract要約: 我々は,神経崩壊に基づく特徴拡散を推定し,最適決定境界を調節する理論を開発する。 より現実的な条件下でのMLAの実用性について述べる。
• 参考スコア（独自算出の注目度）: 32.01426831450348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world data distributions are often highly skewed. This has spurred a growing body of research on long-tailed recognition to address this imbalance in training classification models. Among the methods studied, multiplicative logit adjustment (MLA) stands out as a simple and effective method. However, it lacks theoretical guarantees, which raises concerns about the optimality of its adjustment method. We provide a theoretical justification for the effectiveness of MLA with the following two-step theory. First, we develop a theory that adjusts optimal decision boundaries by estimating feature spread on the basis of neural collapse. Then, we demonstrate that MLA approximates this optimal method. Additionally, through experiments on long-tailed datasets, we illustrate the practical usefulness of MLA under more realistic conditions. We also offer experimental insights to guide the tuning of MLA's hyperparameters.
• Abstract（参考訳）: 実世界のデータ分布は、しばしば非常に歪んでいる。 これは、訓練分類モデルにおけるこの不均衡に対処するために、長い尾の認識に関する研究が成長するきっかけとなった。 研究手法のうち、乗算ロジット調整(MLA)は単純で効果的な方法である。 しかし、理論的な保証が欠如しており、調整法の最適性に関する懸念が持ち上がる。 以下の2段階理論を用いて, MLAの有効性を理論的に正当化する。 まず,神経崩壊に基づく特徴の拡散を推定し,最適決定境界を調節する理論を考案する。 そして, MLA がこの最適手法を近似することを示した。 さらに、長い尾を持つデータセットの実験を通して、より現実的な条件下でのMLAの実用的有用性を説明する。 MLAのハイパーパラメータのチューニングをガイドする実験的な洞察も提供する。

関連論文リスト

• Equivariant Diffusion Policy [16.52810213171303]
  そこで本研究では,ドメイン対称性を利用した新しい拡散政策学習手法を提案し,より優れたサンプル効率とデノナイジング関数の一般化を実現する。 提案手法は,MimicGenにおける12のシミュレーションタスクに対して実証的に評価し,ベースライン拡散政策よりも平均21.9%高い成功率が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-01T21:23:26Z)
• Mining the Explainability and Generalization: Fact Verification Based on Self-Instruction [0.7673339435080445]
  本稿では,自己指導に基づくファクトチェックのための微調整手法を提案する。 最小スケールのLLaMA-7Bモデルを微調整し、挑戦的な事実チェックデータセットFEVEROUSとHOVERで評価する。 本手法は, 自己指導型学習をファクトチェックに活用し, コントラスト学習とDPOの改善を両立させる。
  論文  参考訳（メタデータ） (2024-05-21T08:23:54Z)
• STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models [21.929902181609936]
  我々は不確実性に基づくアクティブラーニングとLoRAを統合する新しい手法を提案する。 不確実性ギャップについて、ベースモデルの不確実性とフルモデルの不確実性を組み合わせた動的不確実性測定を導入する。 モデルのキャリブレーションが不十分な場合、LoRAトレーニング中に正規化手法を導入し、モデルが過度に信頼されないようにする。
  論文  参考訳（メタデータ） (2024-03-02T10:38:10Z)
• Towards Optimal Learning of Language Models [124.65669486710992]
  言語モデル(LM)の最適学習の理論を提案する。 我々は、最適学習過程における力学の性質を明らかにするために、学習法則という定理を導出した。 我々は、LMの最適学習が、LMのスケーリング法則における係数の改善に起因することを実証的に検証した。
  論文  参考訳（メタデータ） (2024-02-27T18:52:19Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Reconstructing Graph Diffusion History from a Single Snapshot [87.20550495678907]
  A single SnapsHot (DASH) から拡散履歴を再構築するための新しいバリセンターの定式化を提案する。 本研究では,拡散パラメータ推定のNP硬度により,拡散パラメータの推定誤差が避けられないことを証明する。 また、DITTO(Diffusion hitting Times with Optimal proposal)という効果的な解法も開発している。
  論文  参考訳（メタデータ） (2023-06-01T09:39:32Z)
• B-Learner: Quasi-Oracle Bounds on Heterogeneous Causal Effects Under Hidden Confounding [51.74479522965712]
  本稿では,B-Learnerと呼ばれるメタラーナーを提案する。 我々は、その推定が有効で、鋭く、効率的であることを証明し、既存の方法よりも一般的な条件下で構成推定器に対して準オーラル特性を持つことを示した。
  論文  参考訳（メタデータ） (2023-04-20T18:07:19Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。