論文の概要: When More Data Hurts: A Troubling Quirk in Developing Broad-Coverage Natural Language Understanding Systems

• arxiv url: http://arxiv.org/abs/2205.12228v1
• Date: Tue, 24 May 2022 17:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 16:31:37.415428
• Title: When More Data Hurts: A Troubling Quirk in Developing Broad-Coverage Natural Language Understanding Systems
• Title（参考訳）: より多くのデータ: 広帯域自然言語理解システムの開発におけるトラブル
• Authors: Elias Stengel-Eskin, Emmanouil Antonios Platanios, Adam Pauls, Sam Thomson, Hao Fang, Benjamin Van Durme, Jason Eisner, Yu Su
• Abstract要約: トレーニングデータセットが成長するにつれて、新しいシンボルを学ぶためにより多くのデータが必要であることを示し、悪循環を形成します。 唯一の原因としてクラス不均衡を否定すると、この傾向はソース信号希釈(source signal dilution)と呼ばれる効果と密接に関連していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 49.17736837613821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In natural language understanding (NLU) production systems, users' evolving needs necessitate the addition of new features over time, indexed by new symbols added to the meaning representation space. This requires additional training data and results in ever-growing datasets. We present the first systematic investigation into this incremental symbol learning scenario. Our analyses reveal a troubling quirk in building (broad-coverage) NLU systems: as the training dataset grows, more data is needed to learn new symbols, forming a vicious cycle. We show that this trend holds for multiple mainstream models on two common NLU tasks: intent recognition and semantic parsing. Rejecting class imbalance as the sole culprit, we reveal that the trend is closely associated with an effect we call source signal dilution, where strong lexical cues for the new symbol become diluted as the training dataset grows. Selectively dropping training examples to prevent dilution often reverses the trend, showing the over-reliance of mainstream neural NLU models on simple lexical cues and their lack of contextual understanding.
• Abstract（参考訳）: 自然言語理解(NLU)生産システムでは、ユーザのニーズは時間とともに新しい機能の追加を必要とし、意味表現空間に追加される新しいシンボルによってインデックス付けされる。 これには追加のトレーニングデータと、成長を続けるデータセットの結果が必要です。 本稿では,このインクリメンタルシンボル学習シナリオについて,最初の体系的考察を行う。 トレーニングデータセットが成長するにつれて、新しいシンボルを学ぶためにより多くのデータが必要となり、悪循環を形成します。 この傾向は、2つの一般的なnluタスクにおける複数のメインストリームモデル、すなわちインテント認識と意味解析に当てはまる。 この傾向は,学習データセットが大きくなるにつれて,新しいシンボルに対する強い語彙的手がかりが希薄になる,ソース信号希釈(source signal dilution)と呼ばれる効果と密接に関連していることが明らかとなった。 希釈を防ぐためのトレーニング例を選択的にドロップすると、しばしば傾向が逆転し、単純な語彙的手がかりに対する主流のニューラルネットワークNLUモデルの過度な信頼性と文脈的理解の欠如が示される。

関連論文リスト

• BERTrend: Neural Topic Modeling for Emerging Trends Detection [0.0]
  BERTrendは、大規模で進化しているテキストコーパスの出現傾向を監視する新しい方法である。 オンライン環境で神経トピックモデリングを使用して、意味のある弱い信号を正確に検出し、追跡する。 この手法は過去の出来事の振り返り分析にも利用できる。
  論文  参考訳（メタデータ） (2024-11-08T19:31:19Z)
• Training Better Deep Learning Models Using Human Saliency [11.295653130022156]
  本研究では、画像の正常領域に関する人間の判断が、ディープ畳み込みニューラルネットワーク(DCNN)トレーニングにどのように導入できるかを考察する。 本稿では,ConveYs Brain Oversight to raise Generalization (CYBORG) における損失関数の新たな構成要素を提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:52:44Z)
• Early learning of the optimal constant solution in neural networks and humans [4.016584525313835]
  対象関数の学習は、ネットワークが最適定数解(OCS)を学習する初期段階に先立って行われることを示す。 我々は、バイアス項がなくてもOCSの学習が出現し、入力データの一般的な相関によって等価に駆動されることを示す。 我々の研究は、OCSを教師付き誤り訂正学習における普遍的な学習原則として示唆している。
  論文  参考訳（メタデータ） (2024-06-25T11:12:52Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• The mechanistic basis of data dependence and abrupt learning in an in-context classification task [0.3626013617212666]
  本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。 インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。 注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
  論文  参考訳（メタデータ） (2023-12-03T20:53:41Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Deeply-Learned Generalized Linear Models with Missing Data [6.302686933168439]
  我々は、深く学習された一般化線形モデルの文脈において、欠測データの形式的処理を行う。 我々は、無視できないパターンと無視できないパターンの両方を柔軟に説明できる新しいアーキテクチャ、textitdlglmを提案する。 UCI Machine Learning Repositoryのバンクマーケティングデータセットのケーススタディで締めくくった。
  論文  参考訳（メタデータ） (2022-07-18T20:00:13Z)
• Handling Distribution Shifts on Graphs: An Invariance Perspective [78.31180235269035]
  我々は、グラフ上のOOD問題を定式化し、新しい不変学習手法である探索・拡張リスク最小化(EERM)を開発する。 EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラーを利用する。 理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-05T02:31:01Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。