論文の概要: Does Data Augmentation Improve Generalization in NLP?
- arxiv url: http://arxiv.org/abs/2004.15012v2
- Date: Fri, 9 Oct 2020 14:33:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 04:41:03.044425
- Title: Does Data Augmentation Improve Generalization in NLP?
- Title（参考訳）: データ拡張はNLPの一般化を改善するか?
- Authors: Rohan Jha, Charles Lovering, Ellie Pavlick
- Abstract要約: ニューラルネットワークはしばしば、より一般的な特徴を導き出すのではなく、表面的特徴を利用して優れた性能を達成する。
近年の研究では、データ強化、すなわち表面的特徴が失敗するトレーニング例の生成が提案されている。
我々は、データ拡張がモデルが未学習の弱体化につながるという仮説を検証しますが、それらの場所でより強力な特徴を学習することはできません。
- 参考スコア（独自算出の注目度）: 19.271117639312184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural models often exploit superficial features to achieve good performance,
rather than deriving more general features. Overcoming this tendency is a
central challenge in areas such as representation learning and ML fairness.
Recent work has proposed using data augmentation, i.e., generating training
examples where the superficial features fail, as a means of encouraging models
to prefer the stronger features. We design a series of toy learning problems to
test the hypothesis that data augmentation leads models to unlearn weaker
heuristics, but not to learn stronger features in their place. We find partial
support for this hypothesis: Data augmentation often hurts before it helps, and
it is less effective when the preferred strong feature is much more difficult
to extract than the competing weak feature.
- Abstract（参考訳）: ニューラルモデルはしばしば、より一般的な特徴を導出するのではなく、表面的特徴を利用して優れたパフォーマンスを達成する。
この傾向を克服することは、表現学習やMLフェアネスといった分野における中心的な課題である。
最近の研究では、データ拡張、すなわち表面的特徴が失敗するトレーニング例の生成をモデルに強い特徴を優先させる手段として提案している。
私たちは、データ拡張がモデルをより弱いヒューリスティックに導くが、より強力な特徴を学習しないという仮説をテストするために、おもちゃの学習問題をいくつか設計する。
データ拡張は助けになる前に痛むことが多く、好まれる強い特徴が競合する弱い特徴よりも抽出するのが困難である場合、効果が低い。
関連論文リスト
- Improving Language Model Reasoning with Self-motivated Learning [60.779625789039486]
textitSelfをモチベーションとする学習フレームワークは、モデル自体をモチベーションとして、既存のデータセットで合理性を自動的に生成する。
我々は,有理数の品質を評価するためにランク付き報酬モデルを訓練し,強化学習による推論の性能向上を図る。
論文 参考訳（メタデータ） (2024-04-10T14:05:44Z) - Inverse Scaling: When Bigger Isn't Better [80.42834197416444]
大規模言語モデル(LM)は、スケールの増大による全体的な損失に対する予測可能な改善を示している。
我々は,LMが逆スケーリングや,スケールの増大に伴うタスクパフォーマンスの悪化を示す可能性があるという主張を裏付ける証拠を示す。
論文 参考訳（メタデータ） (2023-06-15T20:11:23Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳（メタデータ） (2023-06-03T20:12:27Z) - Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。
異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。
このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文 参考訳（メタデータ） (2023-03-30T17:30:42Z) - Stabilizing and Improving Federated Learning with Non-IID Data and
Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。
クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。
非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文 参考訳（メタデータ） (2023-03-11T05:17:59Z) - Perturbation Augmentation for Fairer NLP [33.442601687940204]
少なくとも、モデルフェアネスを測定するための最良の指標によると、人口動態に乱れたコーパスで事前訓練された言語モデルは、より公平である。
我々の発見は有望であるように思われるが、大きな言語モデルの(不)公正性を評価するのにどのように最適かという優れた疑問だけでなく、まだいくつかの制限がある。
論文 参考訳（メタデータ） (2022-05-25T09:00:29Z) - Data Augmentation as Feature Manipulation: a story of desert cows and
grass cows [10.405355207546487]
本研究では,データ拡張が学習過程のダイナミクスに与える影響について検討する。
データ拡張は、さまざまな機能の相対的重要性を変える可能性がある。
ニューラルネットワークのような非線形モデルでは,この効果がより顕著であることを示す。
論文 参考訳（メタデータ） (2022-03-03T08:47:43Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning [25.85044477227461]
このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。
より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。
本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
論文 参考訳（メタデータ） (2021-06-30T06:21:42Z) - Improving Robustness by Augmenting Training Sentences with
Predicate-Argument Structures [62.562760228942054]
データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。
本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。
特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
論文 参考訳（メタデータ） (2020-10-23T16:22:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。