論文の概要: ALCL: An Adaptive Log-Correntropy Loss for Robust Learning under Non-Gaussian Noise

• arxiv url: http://arxiv.org/abs/2606.16050v1
• Date: Sun, 14 Jun 2026 22:49:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.006426
• Title: ALCL: An Adaptive Log-Correntropy Loss for Robust Learning under Non-Gaussian Noise
• Title（参考訳）: ALCL:非ガウス雑音下でのロバスト学習のための適応的対数コレントロピー損失
• Abstract要約: 本稿では,適応型対数コレントロピー損失(ALCL)を提案し,最適化中のロバストネスの幾何を適応的に学習する。 ALCLはMSEを一貫して上回り、再構成忠実度と下流分類精度の両方において最適にコレントロピー損失を一般化する。 これらの結果は,非ガウス環境下での学習における静的コレントロピーに基づく損失に対して,損失パラメータの連成学習による適応的ロバスト性は,計算的に効率的であることを示す。
• 参考スコア（独自算出の注目度）: 0.4078247440919472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust deep learning under heavy-tailed and impulsive noise remains challenging because conventional losses such as mean squared error (MSE) exhibit unbounded sensitivity to outliers. Although correntropy-based objectives improve robustness, existing formulations rely on fixed kernel parameters that must be empirically tuned and remain static during training. To address these limitations, we propose an Adaptive Log-Correntropy Loss (ALCL), a heavy-tailed loss formulation that adaptively learns its robustness geometry during optimization. ALCL introduces a logarithmic residual model whose shape and scale parameters are learned jointly with network weights through differentiable reparameterization. This yields a principled maximum likelihood formulation whose influence function is formally bounded and redescending, allowing the loss geometry to adapt dynamically to evolving residual statistics while suppressing extreme outliers. Comparative experiments on four widely used benchmark datasets spanning grayscale and red-green-blue (RGB) image data under mixed heavy-tailed and impulsive noise demonstrate that ALCL consistently outperforms MSE and optimally tuned generalized correntropy losses in both reconstruction fidelity and downstream classification accuracy. While performance differences remain small under low-noise conditions, under high-noise regimes ALCL improves median accuracy by up to 4.75% on grayscale benchmarks and 4.51% on RGB datasets, with reduced variance across runs. These results demonstrate that adaptive robustness through joint learning of loss parameters provides a computationally efficient alternative to static correntropy-based losses for deep learning in non-Gaussian environments.
• Abstract（参考訳）: 平均二乗誤差(MSE)のような従来の損失は、外れ値に対する非有界感度を示すため、重い尾と衝動雑音下でのロバストな深層学習は依然として困難である。 コレントロピーに基づく目的は堅牢性を改善するが、既存の定式化は経験的に調整され、トレーニング中に静的でなければならない固定されたカーネルパラメータに依存している。 これらの制約に対処するために、最適化中にロバスト性幾何を適応的に学習する重み付き損失定式化であるAdaptive Log-Correntropy Loss (ALCL)を提案する。 ALCLは、形状とスケールパラメータが、微分可能なパラメータ化によってネットワーク重みと共に学習される対数残差モデルを導入している。 これにより、影響関数が形式的に有界で再帰的であるような原理化された最大極大定式化が得られ、損失幾何学は極端な外れ値を抑制しながら、進化する残留統計に動的に適応することができる。 灰色および赤緑色(RGB)画像データを混合重み付き・衝動ノイズ下で使用した4つのベンチマークデータセットの比較実験により、ALCLはMSEを一貫して上回り、再構成の忠実度と下流の分類精度の両方において、一般化されたコレントロピー損失を最適に調整した。 低ノイズ条件下では性能差は小さいが、高ノイズ条件下では、ALCLはグレースケールベンチマークで最大4.75%、RGBデータセットで4.51%まで中央値の精度を向上させる。 これらの結果は,非ガウス環境下での学習における静的コレントロピーに基づく損失に対して,損失パラメータの連成学習による適応的ロバスト性は,計算的に効率的であることを示す。

関連論文リスト

• Singularity-aware Optimization via Randomized Geometric Probing: Towards Stable Non-smooth Optimization [8.412194372218895]
  本研究では,Singularity-aware Adam (S-Adam)を紹介した。 S-アダムには適応減衰機構が組み込まれており、不安定な地域での更新を減速し、スムーズな盆地での高速収束を保っている。 最適量子化アウェアトレーニング(QAT)と高雑音小バッチ学習の実証評価は、S-AdamがAdamWとProx-SGDを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-28T08:00:40Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• Majorization-Minimization Networks for Inverse Problems: An Application to EEG Imaging [4.063392865490957]
  逆問題はしばしば誤りを犯し、強い安定性と収束を保証する最適化スキームを必要とする。 本稿では,二段階最適化設定における逆問題に対する学習されたMajorization-Minimization(MM)フレームワークを提案する。 我々は,古典的MM降下保証を保ちながら,各MMステップを管理する構造化曲率行列を学習する。
  論文  参考訳（メタデータ） (2026-01-23T10:33:45Z)
• Controllable Probabilistic Forecasting with Stochastic Decomposition Layers [1.3995263206621]
  本稿では、決定論的機械学習気象モデルをアンサンブルシステムに変換するための分解層(SDL)を提案する。 SDLは3つのデコーダスケールでの学習摂動を、潜在駆動変調、画素ごとのノイズ、チャネルスケーリングを通じて適用する。 転送学習を通じてWXFormerに適用する場合、SDLはベースラインモデルをトレーニングするために必要な計算コストの2%未満を必要とする。
  論文  参考訳（メタデータ） (2025-12-21T17:10:00Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Introducing Fractional Classification Loss for Robust Learning with Noisy Labels [2.312414367096445]
  適応的ロバスト損失であるフラクタル分類損失 (FCL) を導入し, トレーニング中, ラベルノイズに対するロバストさを自動的に校正する。 FCLは手動のハイパーパラメータチューニングを必要とせずに最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-08-08T14:20:52Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。