論文の概要: Inconsistency-Aware Minimization: Improving Generalization with Unlabeled Data

• arxiv url: http://arxiv.org/abs/2605.31324v1
• Date: Fri, 29 May 2026 13:56:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.651927
• Title: Inconsistency-Aware Minimization: Improving Generalization with Unlabeled Data
• Title（参考訳）: 不整合性を考慮した最小化:ラベルなしデータによる一般化の改善
• Abstract要約: 本稿では,ニューラルネットワークのパラメータ空間に関する情報幾何学的視点から,局所的不整合という新たな一般化尺度を提案する。 学習目的に局所的不整合を組み込んだ不整合認識最小化(IAM)を提案する。
• 参考スコア（独自算出の注目度）: 12.93569110166645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating the generalization gap and developing optimization methods that improve generalization are crucial for deep learning models, for both theoretical understanding and practical applications. Leveraging unlabeled data for these purposes offers significant advantages in real-world scenarios. This paper introduces a novel generalization measure, local inconsistency, derived from an information-geometric perspective on the parameter space of neural networks. A key feature of local inconsistency is that it can be computed without explicit labels. We establish theoretical underpinnings by connecting local inconsistency to the Fisher information matrix and the loss Hessian. Empirically, we demonstrate that local inconsistency correlates with the generalization gap. Based on these findings, we propose Inconsistency-Aware Minimization (IAM), which incorporates local inconsistency into the training objective. We demonstrate that in standard supervised learning settings, IAM enhances generalization, achieving performance comparable to that of existing methods such as Sharpness-Aware Minimization. Furthermore, IAM exhibits efficacy in semi- and self-supervised learning scenarios, where the local inconsistency is computed from unlabeled data.
• Abstract（参考訳）: 一般化ギャップを推定し、一般化を改善する最適化手法を開発することは、理論的理解と実践的応用の両方において、ディープラーニングモデルにとって不可欠である。 これらの目的のためにラベルのないデータを活用することは、現実世界のシナリオにおいて大きな利点をもたらす。 本稿では,ニューラルネットワークのパラメータ空間に関する情報幾何学的視点から,局所的不整合という新たな一般化尺度を提案する。 ローカル不整合の重要な特徴は、明示的なラベルなしで計算できることである。 局所的不整合をフィッシャー情報行列とロス・ヘッセンに接続することで理論的基盤を確立する。 実験により,局所的不整合が一般化ギャップと相関していることが実証された。 これらの知見に基づいて,局所的不整合を訓練目的に組み込んだ不整合認識最小化(IAM)を提案する。 標準的な教師あり学習環境において、IAMは一般化を強化し、シャープネス・アウェア最小化のような既存の手法に匹敵する性能を実現する。 さらに、IAMは、非ラベルデータから局所的不整合を計算し、半教師付きおよび自己教師型学習シナリオにおいて有効性を示す。

関連論文リスト

• Closing the Generalization Gap in Parameter-efficient Federated Edge Learning [43.00634399799955]
  フェデレーションエッジラーニング(FEEL)は人工知能(AI)のための有望な基盤を提供する 限定的で異種なローカルデータセット、およびリソース制限されたデプロイメントは、モデル一般化とリソース利用の両方を著しく低下させる。 本稿では,モデル最小化と一般化選択を併用して,このような課題に対処するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-28T15:34:09Z)
• Glocal Information Bottleneck for Time Series Imputation [70.41814118117311]
  Time Series Imputationは、時間データの欠落した値を復元することを目的としている。 既存のモデルは、通常、数値(ローカル情報)の回復に焦点をあてて、ポイントワイズ復元損失を最適化する。 我々はGlocal Information Bottleneck(Glocal-IB)という新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-10-06T15:24:44Z)
• Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
  薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。 本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T15:27:40Z)
• Generalization Capability for Imitation Learning [1.30536490219656]
  模倣学習は、専門家によるデモンストレーションから学ぶことで、多芸なスキルを持つロボットを装備するという約束を果たす。 しかしながら、有限データセットで訓練されたポリシーは、トレーニング分布を超えた一般化に苦慮することが多い。 本稿では、情報理論とデータ分散特性の両方を基礎とした模倣学習の一般化能力に関する統一的な視点を示す。
  論文  参考訳（メタデータ） (2025-04-25T17:59:59Z)
• Probability Distribution Learning and Its Application in Deep Learning [0.0]
  本稿では,確率分布学習(PD Learning)と呼ばれる理論学習フレームワークを紹介する。 PD学習は確率分布の学習に重点を置いており、確率の単純さの中で確率変数としてモデル化される。
  論文  参考訳（メタデータ） (2024-06-09T06:49:22Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Inconsistency, Instability, and Generalization Gap of Deep Neural Network Training [14.871738070617491]
  不整合は、損失景観の鋭さよりも、一般化ギャップの信頼性の高い指標であることを示す。 この結果は、共蒸留やアンサンブルといった既存の手法の理論的基盤も提供する。
  論文  参考訳（メタデータ） (2023-05-31T20:28:13Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Improving Generalization in Federated Learning by Seeking Flat Minima [23.937135834522145]
  フェデレートされた設定で訓練されたモデルは、しばしば劣化したパフォーマンスに悩まされ、一般化に失敗する。 本研究では,損失の幾何レンズとヘッセン固有スペクトルを用いて,そのような挙動を考察する。 損失面のシャープさと一般化ギャップを接続する先行研究により,サーバ側のシャープネス・アウェア・最小化 (SAM) や適応バージョン (ASAM) をローカルにトレーニングすることで,一般化を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2022-03-22T16:01:04Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。