論文の概要: A Survey of Label-noise Representation Learning: Past, Present and Future

• arxiv url: http://arxiv.org/abs/2011.04406v2
• Date: Sat, 20 Feb 2021 07:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 01:44:33.735724
• Title: A Survey of Label-noise Representation Learning: Past, Present and Future
• Title（参考訳）: ラベル・ノイズ表現学習の過去・現在・未来
• Authors: Bo Han, Quanming Yao, Tongliang Liu, Gang Niu, Ivor W. Tsang, James T. Kwok and Masashi Sugiyama
• Abstract要約: Label-Noise Representation Learning (LNRL) 法は、ノイズのあるラベルでディープモデルを堅牢に訓練することができる。 LNRL法は、インスタンス依存のLNRL、敵のLNRL、新しいデータセットの3つの方向に分けられる。 我々は,LNRLを超えて,特徴ノイズ,優先ノイズ,ドメインノイズ,類似ノイズ,グラフノイズ,実演ノイズなどの潜在方向を想定する。
• 参考スコア（独自算出の注目度）: 172.28865582415628
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Classical machine learning implicitly assumes that labels of the training data are sampled from a clean distribution, which can be too restrictive for real-world scenarios. However, statistical-learning-based methods may not train deep learning models robustly with these noisy labels. Therefore, it is urgent to design Label-Noise Representation Learning (LNRL) methods for robustly training deep models with noisy labels. To fully understand LNRL, we conduct a survey study. We first clarify a formal definition for LNRL from the perspective of machine learning. Then, via the lens of learning theory and empirical study, we figure out why noisy labels affect deep models' performance. Based on the theoretical guidance, we categorize different LNRL methods into three directions. Under this unified taxonomy, we provide a thorough discussion of the pros and cons of different categories. More importantly, we summarize the essential components of robust LNRL, which can spark new directions. Lastly, we propose possible research directions within LNRL, such as new datasets, instance-dependent LNRL, and adversarial LNRL. We also envision potential directions beyond LNRL, such as learning with feature-noise, preference-noise, domain-noise, similarity-noise, graph-noise and demonstration-noise.
• Abstract（参考訳）: 古典的な機械学習は、トレーニングデータのラベルがクリーンな分布からサンプリングされていることを暗黙的に仮定する。 しかし、統計的学習に基づく手法では、これらのノイズラベルでディープラーニングモデルを堅牢に訓練することはできない。 そのため,雑音ラベル付き深層モデルのロバストトレーニングのためのラベルノイズ表現学習(lnrl)手法の設計が急務である。 lnrlを十分に理解するために,調査研究を行う。 まず,機械学習の観点からLNRLの形式的定義を明らかにする。 そして,学習理論と経験的研究のレンズを通して,ノイズラベルが深層モデルの性能に与える影響を明らかにする。 理論的ガイダンスに基づいて,異なるLNRL法を3つの方向に分類する。 この統一分類法の下では、異なるカテゴリーの長所と短所について徹底的に議論する。 より重要なことは、新しい方向を引き起こすロバストなlnrlの本質的なコンポーネントをまとめることです。 最後に、新しいデータセット、インスタンス依存型LNRL、敵型LNRLなど、LNRL内での可能な研究方向を提案する。 また, 特徴音, 選好音, ドメイン音, 類似音, グラフ音, デモンストレーション音など, lnrl 以外の潜在的方向も想定する。

関連論文リスト

• On the Nonlinearity of Layer Normalization [5.0464797863553414]
  本稿では,LN-Netと呼ばれる線形およびLN変換を階層的に構成したネットワークの表現能力について検討する。 各層に3つのニューロンしか持たないLN-Netと$O(m)$ LN層が正しく分類できることを示す。
  論文  参考訳（メタデータ） (2024-06-03T12:11:34Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• The RL/LLM Taxonomy Tree: Reviewing Synergies Between Reinforcement Learning and Large Language Models [2.5721733711031978]
  強化学習(RL)と大規模言語モデル(LLM)を組み合わせた研究を概観する。 本稿では,2つのモデルタイプが相互に相互作用する方法に基づいた,3つの主要クラスの新しい分類法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T20:01:15Z)
• Disentangled Representation Learning [46.51815065323667]
  Disentangled Representation Learning (DRL) は、観測可能なデータに隠された基礎的要因を表現形式で識別し、切り離すことができるモデルを学習することを目的としている。 我々は、モチベーション、定義、方法論、評価、応用、モデル設計を含む様々な側面からDRLを包括的に調査する。
  論文  参考訳（メタデータ） (2022-11-21T18:14:38Z)
• Semi-Supervised Offline Reinforcement Learning with Action-Free Trajectories [37.14064734165109]
  自然エージェントは、サイズ、品質、種類の異なる複数のデータソースから学習することができる。 オフライン強化学習(RL)の文脈でこれを研究し、実際に動機付けされた半教師付き環境を導入する。
  論文  参考訳（メタデータ） (2022-10-12T18:22:23Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)
• Neural Unsupervised Semantic Role Labeling [48.69930912510414]
  セマンティックロールラベリングのための最初の神経教師なしモデルを提案する。 タスクを2つの引数関連サブタスク、識別とクラスタリングとして分解する。 CoNLL-2009英語データセットの実験では、我々のモデルは過去の最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2021-04-19T04:50:16Z)
• Syntax Role for Neural Semantic Role Labeling [77.5166510071142]
  意味的役割ラベリング(SRL)は、文の意味的述語・代名詞構造を認識することを目的としている。 従来のモデルでは、構文情報はSRLのパフォーマンスに顕著な貢献をする可能性がある。 最近の神経SRL研究は、構文情報は神経意味的役割のラベル付けにおいてはるかに重要でないことを示している。
  論文  参考訳（メタデータ） (2020-09-12T07:01:12Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。