論文の概要: Orthogonal Gradient Constraints Shape Noisy-Label Memorization Dynamics

• arxiv url: http://arxiv.org/abs/2607.16231v1
• Date: Wed, 24 Jun 2026 04:34:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.906506
• Title: Orthogonal Gradient Constraints Shape Noisy-Label Memorization Dynamics
• Title（参考訳）: 直交勾配制約によるノイズ-ラベル記憶ダイナミクス
• Abstract要約: 重みベクトルに平行な各重み勾配の成分をノイズラベル画像分類で除去するOrthoGradの評価を行った。 小さなデータ構造を持つMNISTでは、OrthoGradはCNNのテスト精度を最も明確に改善し、破損したラベルのフィッティングを低減している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern neural networks can fit corrupted training labels, making noisy-label learning a useful setting for studying memorization-driven overfitting. Most regularization methods modify the objective, architecture, or data distribution; here we instead study a geometric intervention on the optimizer update itself. We evaluate OrthoGrad, which removes the component of each weight gradient parallel to the current weight vector, in noisy-label image classification. On MNIST with small-data regimes, OrthoGrad improves test accuracy most clearly for CNNs while reducing corrupted-label fitting. Mechanism diagnostics based on weight norms and gradient-weight cosine similarity suggest that the projection has the strongest effect when the raw gradient contains a nontrivial radial component, and becomes weaker in larger-data regimes where gradients are already nearly orthogonal to weights. Additional CIFAR-10 ResNet-18 experiments show that the method can alter memorization trajectories but does not prevent eventual noisy-label memorization. These results support orthogonal update constraints as a useful diagnostic for studying learning dynamics, while showing that OrthoGrad is regime-dependent rather than universally regularizing.
• Abstract（参考訳）: 現代のニューラルネットワークは、破損したトレーニングラベルに適合し、ノイズの多いラベル学習は、暗記駆動のオーバーフィッティングを研究するのに役立つ。 ほとんどの正規化手法は、目的、アーキテクチャ、データ分布を変更するが、ここではオプティマイザの更新自体に関する幾何学的介入について研究する。 重みベクトルに平行な各重み勾配の成分をノイズラベル画像分類で除去するOrthoGradの評価を行った。 小さなデータ構造を持つMNISTでは、OrthoGradはCNNのテスト精度を最も明確に改善し、破損したラベルのフィッティングを低減している。 重みノルムと勾配-重みコサイン類似性に基づくメカニズム診断は、原勾配が非自明な半径成分を含む場合、射影が最強効果を持ち、既に勾配が重みにほぼ直交している大規模データレジームでは弱くなることを示唆している。 追加のCIFAR-10 ResNet-18実験では、この手法は記憶の軌跡を変更することができるが、最終的にノイズやラベルの記憶を妨げないことを示した。 これらの結果は直交的な更新制約を学習力学の学習に役立つ診断としてサポートし、OrthoGradは普遍的に正規化するのではなく、制度に依存していることを示す。

関連論文リスト

• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• Statistical Roughness-Informed Machine Unlearning [3.8218584696400484]
  機械学習の目的は、トレーニングされたモデルから指定された忘れ物セットの影響を取り除き、保持されたデータにユーティリティを保存することである。 本研究では,非学習更新を再配置するメカニズムファーストなアンラーニングアルゴリズムSRAGUを提案する。
  論文  参考訳（メタデータ） (2026-02-10T00:40:36Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Reliable Active Learning from Unreliable Labels via Neural Collapse Geometry [5.1511135538176]
  アクティブラーニング(AL)は、情報的なサンプルを優先順位付けすることでアノテーションのコストを削減することを約束するが、ラベルがうるさい場合やデータ分散がシフトした場合、その信頼性は低下する。 本稿では,深層ネットワークの創発的幾何学的規則性を活用し,信頼できない監視に対処するフレームワークである能動学習(NCAL-R)を提案する。
  論文  参考訳（メタデータ） (2025-10-10T17:50:31Z)
• Stochastic Resetting Mitigates Latent Gradient Bias of SGD from Label Noise [2.048226951354646]
  本稿では,チェックポイントからのリセットにより,ディープニューラルネットワーク(DNN)をノイズラベルでトレーニングする際の一般化性能が大幅に向上することを示す。 ノイズの多いラベルが存在する場合、DNNはまずデータの一般的なパターンを学習するが、徐々に破損したデータを記憶し、過度に適合する。 勾配降下(SGD)のダイナミクスを分解することにより,雑音ラベルによる遅延勾配バイアスの挙動を同定し,一般化を損なう。
  論文  参考訳（メタデータ） (2024-06-01T10:45:41Z)
• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Gradient Descent in RKHS with Importance Labeling [58.79085525115987]
  我々は重要ラベル付け問題について研究し、ラベルなしデータが多く与えられている。 ラベルなしデータの情報サブセットを効果的に選択できる新しい重要ラベル方式を提案する。
  論文  参考訳（メタデータ） (2020-06-19T01:55:00Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)
• Improving Generalization by Controlling Label-Noise Information in Neural Network Weights [33.85101318266319]
  ノイズや誤ったラベルが存在する場合、ニューラルネットワークはノイズに関する情報を記憶する好ましくない傾向にある。 ドロップアウト、ウェイト崩壊、データ増大といった標準的な正則化技術は、時折役立つが、そのような振舞いを防げない。 任意のトレーニングアルゴリズムに対して、この項の低値はラベルノイズの記憶の減少とより良い境界の減少に対応していることを示す。
  論文  参考訳（メタデータ） (2020-02-19T00:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。