論文の概要: Distribution-Free Pretraining of Classification Losses via Evolutionary Dynamics

• arxiv url: http://arxiv.org/abs/2605.03722v1
• Date: Tue, 05 May 2026 13:08:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.942052
• Title: Distribution-Free Pretraining of Classification Losses via Evolutionary Dynamics
• Title（参考訳）: 進化的ダイナミクスによる分類損失の分布自由事前学習
• Authors: Meng Xiang, Yan Pei,
• Abstract要約: 本稿では,無制限な合成予測ラベルペアを用いて,確率空間における移動可能な分類損失を学習するフレームワークを提案する。 我々は進化的戦略によりEDLを最適化し、ノイズの多いフィットネス評価の下での探索を改善するためにカオス突然変異を導入した。
• 参考スコア（独自算出の注目度）: 0.7085019074999286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Evolutionary Dynamic Loss (EDL), a framework that learns a transferable classification loss in the probability space using unlimited synthetic prediction-label pairs, without accessing real samples during the main loss pretraining stage. EDL parameterizes the loss as a lightweight network and is trained with a semantics-free ranking-consistency objective that assigns larger penalties for more erroneous predictions. To robustly explore the space of loss functions, we optimize EDL via an evolutionary strategy and introduce chaotic mutation to improve exploration under noisy fitness evaluations. Experiments on CIFAR-10 with ResNet backbones show that EDL can serve as a drop-in replacement for cross-entropy and achieves competitive or improved accuracy, while ablation studies confirm that chaotic mutation yields faster convergence and better synthetic pretraining metrics than standard Gaussian mutation.
• Abstract（参考訳）: 本研究では, 確率空間における移動可能な分類損失を, 任意の合成予測ラベルペアを用いて学習するフレームワークであるEvolutionary Dynamic Loss (EDL)を提案する。 EDLは、損失を軽量ネットワークとしてパラメータ化し、より誤った予測のためにより大きな罰則を割り当てる意味論のないランキング一貫性の目標で訓練する。 損失関数の空間を頑健に探索するため,進化戦略によりEDLを最適化し,カオス突然変異を導入し,ノイズの多い適合評価の下での探索を改善する。 CIFAR-10とResNetのバックボーンを用いた実験では、EDLはクロスエントロピーの代替として機能し、競争力や精度の向上を実現している。

関連論文リスト

• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• Policy Gradient with Adaptive Entropy Annealing for Continual Fine-Tuning [18.440289150575648]
  本研究では,探索的(CEライクな)から搾取的(EPGライクな)学習に移行する訓練戦略を提案する。 様々なエントロピー正規化手法を評価し、出力予測分布の低いエントロピーが事前学習された視覚モデルにおける適応を促進することを示す。
  論文  参考訳（メタデータ） (2026-02-15T10:05:03Z)
• Adaptive-lambda Subtracted Importance Sampled Scores in Machine Unlearning for DDPMs and VAEs [3.383208046995159]
  マシン・アンラーニングは、大きな生成モデルが忘れられる権利に従うために不可欠である。 本稿では、各トレーニングステップで動的に推論される潜在変数に変換する、原則付き拡張であるAdaptive-lambda SISSを提案する。 拡張MNISTベンチマークの実験では、Adaptive-lambda SISSが元の静的ラムダSISSを大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-11-30T19:57:49Z)
• AYLA: Amplifying Gradient Sensitivity via Loss Transformation in Non-Convex Optimization [0.0]
  Gradient Descent (SGD)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。 本稿では、動的トレーニングを強化する新しいフレームワークであるAYLAを紹介する。
  論文  参考訳（メタデータ） (2025-04-02T16:31:39Z)
• Error-quantified Conformal Inference for Time Series [55.11926160774831]
  時系列予測の不確かさの定量化は、時系列データの時間的依存と分布シフトのために困難である。 量子化損失関数をスムースにすることで,iError-quantified Conformal Inference (ECI)を提案する。 ECIは有効な誤発見制御と、他のベースラインよりも厳密な予測セットを出力することができる。
  論文  参考訳（メタデータ） (2025-02-02T15:02:36Z)
• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss [16.399746814823025]
  機械学習モデルは、トレーニングセットにサンプルがあるかどうかを推測することを目的とした、メンバシップ推論攻撃(MIA)の影響を受けやすい。 既存の作業では、勾配上昇を利用してトレーニングデータの損失分散を拡大し、プライバシリスクを軽減する。 本稿では,勾配降下によるトレーニング損失分布の分散化を可能にする新しい手法であるConvex-Concave Lossを提案する。
  論文  参考訳（メタデータ） (2024-02-08T07:14:17Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。