論文の概要: Learning from almost nothing: How neural networks survive heavy input corruption

• arxiv url: http://arxiv.org/abs/2606.11319v1
• Date: Tue, 09 Jun 2026 18:02:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.12406
• Title: Learning from almost nothing: How neural networks survive heavy input corruption
• Title（参考訳）: ニューラルネットワークが入力の汚職をいかに生き残るか
• Authors: Justin Tahmassebpur, Asadullah Bhuiyan, Hyejin Kim, Omri Lesser,
• Abstract要約: 不完全なデータからの学習は機械学習における中心的なテーマであり、堅牢性の実践的な問題と学習可能性の基本的な問題とを結びつける。 我々は,加法雑音と置換雑音の2種類の汚職モデルを考える。 入力が90%以上破損しても、ニューラルネットワークは頑健であり、精度は良好である。
• 参考スコア（独自算出の注目度）: 1.1929558226793768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from imperfect data is a central theme in machine learning, connecting practical questions of robustness to fundamental questions of learnability. Here we examine attribute noise: learning from corrupted inputs while keeping the labels intact, a setting that has received considerably less analytical attention than its label-noise counterpart. We consider two types of corruption models: additive noise and replacement noise. Through experiments with multi-layer perceptrons (MLPs) on corrupted classification datasets, we find that neural networks remain robust, maintaining well-above-chance accuracy even when inputs are >90% corrupted -- far beyond human recognition. To understand this robustness, we analyze infinite-width networks in the heavy-corruption regime using a mean-field-inspired approach and derive a leading-order decision rule for the classification outcome: the network implements a prototype rule, the nearest-class-mean, assigning each test point to the class whose training-set average it most closely resembles. This leading-order decision rule is universal across a broad range of MLP architectures, holding for any depth, as well as a wide class of activation functions and noise distributions. The same centroid mechanism closely matches finite-width network behavior in our experiments and provides an interpretable and analytically tractable account of why learning can succeed even when individual training examples carry almost no signal.
• Abstract（参考訳）: 不完全なデータからの学習は機械学習における中心的なテーマであり、堅牢性の実践的な問題と学習可能性の基本的な問題とを結びつける。 ここでは属性ノイズについて検討する:ラベルをそのまま保ちながら、劣化した入力から学習する。 我々は,加法雑音と置換雑音の2種類の汚職モデルを考える。 分類データセットの多層パーセプトロン(MLP)を用いた実験により、ニューラルネットワークは頑健であり、入力が90%以上破損しても精度は維持されていることが判明した。 このロバスト性を理解するために、平均フィールドインスパイアされたアプローチを用いて重破壊体制における無限幅ネットワークを分析し、分類結果の上位決定ルールを導出する:ネットワークはプロトタイプルール、最も近いクラス平均を最も近いクラスに割り当て、各テストポイントをトレーニングセット平均が最も近いクラスに割り当てる。 この序列決定規則は広い範囲のMLPアーキテクチャで普遍的であり、あらゆる深さを保ち、幅広い種類のアクティベーション関数とノイズ分布を持つ。 同じセントロイド機構は実験の有限幅ネットワークの挙動と密接に一致し、個々のトレーニング例がほとんど信号を持たない場合でも、学習が成功する理由を解釈可能かつ解析的に説明できる。

関連論文リスト

• rSDNet: Unified Robust Neural Learning against Label Noise and Adversarial Attacks [1.2891210250935143]
  ニューラルネットワークのトレーニングを最小分散推定問題として定式化する。 本稿では,$S$-divergencesの一般クラスに基づく頑健な学習アルゴリズムであるrSDNetを紹介する。 この結果から,不均一なデータ汚染下での頑健なニューラルネットワーク分類の原則的,効果的な枠組みとして,最小分散学習が注目された。
  論文  参考訳（メタデータ） (2026-03-18T11:47:46Z)
• Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks [13.983863226803336]
  勾配降下によって訓練されたニューラルネットワークは、分類に平均的な特徴に依存する傾向があることを示す。 勾配降下は、各隠れニューロンの重みがクラスター中心の平均を表す特徴平均化に偏りがあることを証明した。 我々は,2層ReLUネットワークが個々の特徴を分類する訓練を行う際に,最適なロバスト性を実現することを証明した。
  論文  参考訳（メタデータ） (2024-10-14T09:28:32Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Deep Internal Learning: Deep Learning from a Single Input [88.59966585422914]
  多くの場合、手元にある入力からネットワークをトレーニングする価値がある。 これは、トレーニングデータが少なく、多様性が大きい多くの信号および画像処理問題に特に関係している。 本研究の目的は,この2つの重要な方向に向けて,過去数年間に提案されてきた深層学習技術について報告することである。
  論文  参考訳（メタデータ） (2023-12-12T16:48:53Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
  ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。 損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。 ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
  論文  参考訳（メタデータ） (2022-02-27T23:06:31Z)
• Anomaly Detection in Cybersecurity: Unsupervised, Graph-Based and Supervised Learning Methods in Adversarial Environments [63.942632088208505]
  現在の運用環境に固有ののは、敵対的機械学習の実践である。 本研究では,教師なし学習とグラフに基づく異常検出の可能性を検討する。 我々は,教師付きモデルの訓練時に,現実的な対人訓練機構を組み込んで,対人環境における強力な分類性能を実現する。
  論文  参考訳（メタデータ） (2021-05-14T10:05:10Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence [8.110949636804772]
  スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。 本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。 さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-07-25T21:59:17Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。