論文の概要: On the Power of Deep but Naive Partial Label Learning

• arxiv url: http://arxiv.org/abs/2010.11600v2
• Date: Mon, 8 Feb 2021 07:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 04:53:24.825327
• Title: On the Power of Deep but Naive Partial Label Learning
• Title（参考訳）: 深層だがナイーブな部分ラベル学習の力について
• Authors: Junghoon Seo, Joon Suk Huh
• Abstract要約: 本稿では,ニューラルネットワークを応用した最古かつ最も単純な手法の隠れたパワーを明らかにする。 ディープニューラルネットワークでは、ナイーブモデルが他の最先端手法と競合する性能を達成できることが示される。 また、このようなナイーブなモデルがディープニューラルネットワークとどのようにうまく機能するかという問題にも対処する。
• 参考スコア（独自算出の注目度）: 9.89901717499058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Partial label learning (PLL) is a class of weakly supervised learning where each training instance consists of a data and a set of candidate labels containing a unique ground truth label. To tackle this problem, a majority of current state-of-the-art methods employs either label disambiguation or averaging strategies. So far, PLL methods without such techniques have been considered impractical. In this paper, we challenge this view by revealing the hidden power of the oldest and naivest PLL method when it is instantiated with deep neural networks. Specifically, we show that, with deep neural networks, the naive model can achieve competitive performances against the other state-of-the-art methods, suggesting it as a strong baseline for PLL. We also address the question of how and why such a naive model works well with deep neural networks. Our empirical results indicate that deep neural networks trained on partially labeled examples generalize very well even in the over-parametrized regime and without label disambiguations or regularizations. We point out that existing learning theories on PLL are vacuous in the over-parametrized regime. Hence they cannot explain why the deep naive method works. We propose an alternative theory on how deep learning generalize in PLL problems.
• Abstract（参考訳）: 部分ラベル学習(Partial label learning, PLL)は、各トレーニングインスタンスがデータと、ユニークな基底真理ラベルを含む候補ラベルから構成される弱い教師付き学習のクラスである。 この問題に対処するため、現在の最先端の手法の大半はラベルの曖昧さや平均的な戦略を採用している。 これまでのところ、そのような手法を使わずにPLL法は非現実的と考えられてきた。 本稿では,より深いニューラルネットワークをインスタンス化した場合に,最も古いPLL方式の隠れたパワーを明らかにすることで,この考え方に挑戦する。 具体的には、ディープニューラルネットワークを用いて、ナイーブモデルが他の最先端手法と競合する性能を達成できることを示し、PLLの強力なベースラインとして提案する。 また、このようなナイーブなモデルがディープニューラルネットワークとどのようにうまく機能するかという問題にも対処する。 実験結果から,部分ラベル付き例で学習した深層ニューラルネットワークは,過度にパラメータ化された状態においても,ラベルの曖昧さや正規化を伴わずに非常によく一般化することが示された。 PLLの既存の学習理論は過度にパラメータ化された体制では空白である。 したがって、なぜディープナイーブメソッドが機能するのかは説明できない。 PLL問題におけるディープラーニングの一般化に関する代替理論を提案する。

関連論文リスト

• Adaptive Integration of Partial Label Learning and Negative Learning for Enhanced Noisy Label Learning [23.847160480176697]
  我々はtextbfNPN というシンプルながら強力なアイデアを提案し,このアイデアは textbfNoisy ラベル学習に革命をもたらす。 我々はNLの全ての非候補ラベルを用いて信頼性の高い補完ラベルを生成し、間接的な監督を通じてモデルロバスト性を高める。 合成劣化データセットと実世界の雑音データセットの両方で実施された実験は、他のSOTA法と比較してNPNの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-15T03:06:19Z)
• On Learning Latent Models with Multi-Instance Weak Supervision [57.18649648182171]
  本稿では,複数の入力インスタンスに関連付けられた遷移関数$sigma$ラベルによって,教師信号が生成される弱い教師付き学習シナリオについて考察する。 我々の問題は、潜在的な構造学習やニューロシンボリックな統合など、さまざまな分野で満たされている。
  論文  参考訳（メタデータ） (2023-06-23T22:05:08Z)
• Active Learning with Neural Networks: Insights from Nonparametric Statistics [12.315392649501101]
  本論文は, 深層学習において, 準最適ラベルの複雑性が保証される最初の方法である。 標準的な低騒音条件下では,ニューラルネットワークを用いた能動学習がミニマックスラベルの複雑さを確実に達成できることを示す。 また,低雑音の仮定を伴わずに,$mathsfpolylog(frac1epsilon)$ラベル複雑性を実現する,効率的な深層能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-15T19:57:09Z)
• SoLar: Sinkhorn Label Refinery for Imbalanced Partial-Label Learning [31.535219018410707]
  部分ラベル学習(Partial-label Learning, PLL)は、トレーニングサンプルが一般に、単一の真実ではなく、一連の候補ラベルに関連付けられている、独特な弱い教師付き学習課題である。 本稿では,境界クラス事前分布のマッチングに向けて,曖昧なラベルを洗練するための新しいフレームワークであるSoLarを提案する。 SoLarは、従来の最先端の手法に比べて、標準化されたベンチマークにおいてかなり優れた結果を示している。
  論文  参考訳（メタデータ） (2022-09-21T14:00:16Z)
• L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
  本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。 モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。 これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
  論文  参考訳（メタデータ） (2022-02-09T05:57:08Z)
• How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis [93.37576644429578]
  この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。 トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。 また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
  論文  参考訳（メタデータ） (2022-01-21T02:16:52Z)
• Provably Consistent Partial-Label Learning [120.4734093544867]
  部分ラベル学習 (Partial-label Learning, PLL) は多クラス分類問題である。 本稿では,候補ラベル集合の第1世代モデルを提案し,一貫性が保証される2つの新しい手法を開発する。 ベンチマークおよび実世界のデータセットの実験は、提案した生成モデルの有効性と2つの方法の有効性を検証する。
  論文  参考訳（メタデータ） (2020-07-17T12:19:16Z)
• How benign is benign overfitting? [96.07549886487526]
  深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
  論文  参考訳（メタデータ） (2020-07-08T11:07:10Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Network Cooperation with Progressive Disambiguation for Partial Label Learning [37.05637357091572]
  Partial Label Learning (PLL) は、各トレーニングインスタンスが候補ラベルのセットに関連付けられている場合に分類器をトレーニングすることを目的としている。 既存のメソッドはインスタンスの曖昧さを無視し、シングルスレッドのトレーニングメカニズムを採用する。 本稿では,ネットワーク・コラボレーションとプログレッシブ・ディアンビゲーション(NCPD)を併用した新しいアプローチを提案する。 ニューラルネットワークをバックボーンとして利用することにより,相互に相互作用させることで,協調的に2つのネットワークをトレーニングするネットワーク協調機構を利用する。
  論文  参考訳（メタデータ） (2020-02-22T09:50:39Z)
• Biologically-Motivated Deep Learning Method using Hierarchical Competitive Learning [0.0]
  本稿では,CNNの事前学習方法として,前方伝播信号のみを必要とする教師なしの競争学習を導入することを提案する。 提案手法は,例えば時系列や医療データなど,ラベルの粗末なデータに対して有用である。
  論文  参考訳（メタデータ） (2020-01-04T20:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。