論文の概要: A Challenging Benchmark for Low-Resource Learning

• arxiv url: http://arxiv.org/abs/2303.03840v2
• Date: Thu, 9 Mar 2023 06:28:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 11:32:35.902138
• Title: A Challenging Benchmark for Low-Resource Learning
• Title（参考訳）: 低リソース学習のためのベンチマーク
• Authors: Yudong Wang, Chang Ma, Qingxiu Dong, Lingpeng Kong, Jingjing Xu
• Abstract要約: 高度なニューラルネットワークの学習能力を評価するために、低リソースデータセットが人気のあるベンチマークになっている。 学習能力をよりよく評価するために,難しいベンチマークである hardBench を提案する。 幅広いモデルの実験により、ニューラルネットワーク、あるいは事前訓練された言語モデルでさえ、我々のベンチマークで顕著なパフォーマンス低下を示す。
• 参考スコア（独自算出の注目度）: 20.971973369739228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With promising yet saturated results in high-resource settings, low-resource datasets have gradually become popular benchmarks for evaluating the learning ability of advanced neural networks (e.g., BigBench, superGLUE). Some models even surpass humans according to benchmark test results. However, we find that there exists a set of hard examples in low-resource settings that challenge neural networks but are not well evaluated, which causes over-estimated performance. We first give a theoretical analysis on which factors bring the difficulty of low-resource learning. It then motivate us to propose a challenging benchmark hardBench to better evaluate the learning ability, which covers 11 datasets, including 3 computer vision (CV) datasets and 8 natural language process (NLP) datasets. Experiments on a wide range of models show that neural networks, even pre-trained language models, have sharp performance drops on our benchmark, demonstrating the effectiveness on evaluating the weaknesses of neural networks. On NLP tasks, we surprisingly find that despite better results on traditional low-resource benchmarks, pre-trained networks, does not show performance improvements on our benchmarks. These results demonstrate that there are still a large robustness gap between existing models and human-level performance.
• Abstract（参考訳）: 高度なニューラルネットワーク(BigBench、SuperGLUEなど)の学習能力を評価するための低リソースデータセットは、高リソース環境では期待できるほど飽和している。 一部のモデルは、ベンチマークテストの結果で人間を超えている。 しかし、ニューラルネットワークに挑戦するが、十分に評価されていない低リソース環境では、過度に見積もられたパフォーマンスを引き起こす厳しい例がいくつか存在する。 まず,低リソース学習の難しさをもたらす要因を理論的に分析する。 これは3つのコンピュータビジョン(cv)データセットと8つの自然言語プロセス(nlp)データセットを含む11のデータセットをカバーする。 幅広いモデルの実験により、ニューラルネットワークは、事前訓練された言語モデルでさえ、我々のベンチマークで急激な性能低下を示し、ニューラルネットワークの弱点を評価する効果を実証した。 NLPタスクでは、従来の低リソースのベンチマーク、トレーニング済みのネットワークでより良い結果が得られても、ベンチマークのパフォーマンスは向上しない。 これらの結果は、既存のモデルと人間レベルのパフォーマンスの間にはまだ大きな堅牢性ギャップがあることを示しています。

関連論文リスト

• More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory [12.689249854199982]
  RF劣化試験のリスクは特徴数とサンプル数の両方で単調に低下することを示した。 次に、パワーロー固有構造を特徴とするタスクの大規模なクラスにおいて、ほぼゼロに近いトレーニング損失に対するトレーニングが義務付けられていることを示す。
  論文  参考訳（メタデータ） (2023-11-24T18:27:41Z)
• Preventing Arbitrarily High Confidence on Far-Away Data in Point-Estimated Discriminative Neural Networks [28.97655735976179]
  ReLUネットワークは、テストデータがトレーニングセットから遠く離れている場合、ほぼ常に高い信頼性の予測が得られることが示されている。 我々は、余剰クラスのロジットに対応するニューラルネットワークの出力に項を追加することで、この問題を克服する。 この技術は、簡易な識別点推定訓練を維持しながら、遠距離試験データに対する任意に高い信頼を確実に防止する。
  論文  参考訳（メタデータ） (2023-11-07T03:19:16Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• A Theoretical Analysis on Feature Learning in Neural Networks: Emergence from Inputs and Advantage over Fixed Features [18.321479102352875]
  ニューラルネットワークの重要な特徴は、予測に有効な特徴を持つ入力データの表現を学ぶ能力である。 実践的なデータによって動機づけられた学習問題を考察し、そこでは、ラベルが一連のクラス関連パターンによって決定され、それらから入力が生成される。 勾配降下によって訓練されたニューラルネットワークがこれらの問題に成功できることを実証する。
  論文  参考訳（メタデータ） (2022-06-03T17:49:38Z)
• Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
  本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。 本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。 その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T12:31:17Z)
• Efficacy of Bayesian Neural Networks in Active Learning [11.609770399591516]
  ベイズニューラルネットワークは、アンサンブルに基づく不確実性を捕捉する技術よりも効率的であることを示す。 また,近年,モンテカルロのドロップアウトよりも効果的であることが判明したアンサンブル技法の重要な欠点も明らかにした。
  論文  参考訳（メタデータ） (2021-04-02T06:02:11Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。