論文の概要: Linear Mode Connectivity under Data Shifts for Deep Ensembles of Image Classifiers

• arxiv url: http://arxiv.org/abs/2511.04514v1
• Date: Thu, 06 Nov 2025 16:30:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.503004
• Title: Linear Mode Connectivity under Data Shifts for Deep Ensembles of Image Classifiers
• Title（参考訳）: 画像分類器の深部組立のためのデータシフト下における線形モード接続性
• Authors: C. Hepburn, T. Zielke, A. P. Raulf,
• Abstract要約: 線形モード接続(LMC)は、ディープラーニングのいくつかの側面をリンクする。 我々はデータシフトの下でLCCを実験的に研究し、その影響を緩和する条件を特定した。 LMC経由でサンプリングされたモデルは、異なる盆地に収束するモデルよりも、同様のエラーを頻繁に起こす傾向にあるが、LCCの利点は、より大きな、より多様なアンサンブルから得られる利得とトレーニング効率のバランスをとることである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The phenomenon of linear mode connectivity (LMC) links several aspects of deep learning, including training stability under noisy stochastic gradients, the smoothness and generalization of local minima (basins), the similarity and functional diversity of sampled models, and architectural effects on data processing. In this work, we experimentally study LMC under data shifts and identify conditions that mitigate their impact. We interpret data shifts as an additional source of stochastic gradient noise, which can be reduced through small learning rates and large batch sizes. These parameters influence whether models converge to the same local minimum or to regions of the loss landscape with varying smoothness and generalization. Although models sampled via LMC tend to make similar errors more frequently than those converging to different basins, the benefit of LMC lies in balancing training efficiency against the gains achieved from larger, more diverse ensembles. Code and supplementary materials will be made publicly available at https://github.com/DLR-KI/LMC in due course.
• Abstract（参考訳）: 線形モード接続(LMC)の現象は、雑音の確率勾配下でのトレーニング安定性、局所ミニマの滑らかさと一般化、サンプルモデルの類似性と機能的多様性、データ処理におけるアーキテクチャ的影響など、ディープラーニングのいくつかの側面を結びつけている。 本研究では,LCCをデータシフト下で実験的に検討し,その影響を緩和する条件を特定した。 我々は、データシフトを確率的勾配雑音の新たな源として解釈し、学習率とバッチサイズを大きくすることで低減することができる。 これらのパラメータは、モデルが同じ局所的最小値に収束するか、あるいは、滑らかさと一般化の異なる損失景観の領域に収束するかに影響を及ぼす。 LMC経由でサンプリングされたモデルは、異なる盆地に収束するモデルよりも、同様のエラーを頻繁に発生させる傾向にあるが、LCCの利点は、より大きな、より多様なアンサンブルから得られる利得とトレーニング効率のバランスをとることである。 コードと補足資料はhttps://github.com/DLR-KI/LMCで公開される。

関連論文リスト

• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Integrating Random Effects in Variational Autoencoders for Dimensionality Reduction of Correlated Data [9.990687944474738]
  LMMVAEは、従来のVAEラテントモデルを固定部品とランダム部品に分離する新しいモデルである。 その結果, 正方形復元誤差と負の可能性損失は, 未確認データに対して有意に改善した。
  論文  参考訳（メタデータ） (2024-12-22T07:20:17Z)
• An Enhanced Classification Method Based on Adaptive Multi-Scale Fusion for Long-tailed Multispectral Point Clouds [67.96583737413296]
  長距離分布を持つMPCに対する適応的マルチスケール融合に基づく拡張型分類法を提案する。 トレーニングセット生成段階では、スパースラベル付きデータセットからトレーニングサンプルを確実に生成するグリッドバランスサンプリング戦略が設計されている。 特徴学習の段階では,異なるスケールの土地被覆の浅い特徴を融合させるため,マルチスケールの特徴融合モジュールが提案されている。
  論文  参考訳（メタデータ） (2024-12-16T03:21:20Z)
• Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• An Adaptive Plug-and-Play Network for Few-Shot Learning [12.023266104119289]
  少数のサンプルから学んだ後、新しいサンプルを分類するモデルが必要である。 ディープネットワークと複雑なメトリクスはオーバーフィッティングを引き起こす傾向があり、パフォーマンスをさらに改善することは困難である。 プラグアンドプレイ型モデル適応型リサイザ (MAR) とアダプティブ類似度測定器 (ASM) をその他の損失なく提案する。
  論文  参考訳（メタデータ） (2023-02-18T13:25:04Z)
• Towards Scale Balanced 6-DoF Grasp Detection in Cluttered Scenes [19.25678039613183]
  本稿では,特に小規模サンプル処理の難しさに対処する新しい手法を提案する。 局所幾何学表現を強化するため,マルチスケールシリンダーグルーピング (MsCG) モジュールが提案される。 トレーニングを容易にするため、ノイズクリーンミックス(NcM)データ拡張が導入される。
  論文  参考訳（メタデータ） (2022-12-10T11:31:12Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。