論文の概要: Targeted Data Generation: Finding and Fixing Model Weaknesses

• arxiv url: http://arxiv.org/abs/2305.17804v1
• Date: Sun, 28 May 2023 19:36:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 16:38:02.988693
• Title: Targeted Data Generation: Finding and Fixing Model Weaknesses
• Title（参考訳）: ターゲットデータ生成:モデルの弱点の発見と修正
• Authors: Zexue He, Marco Tulio Ribeiro, Fereshte Khani
• Abstract要約: 集約精度が高い場合でも、最先端のNLPモデルは特定のサブグループで体系的に失敗することが多い。 本稿では,挑戦的サブグループを自動的に識別するフレームワークTDGを提案する。 実験では、TDGは、最先端の感情分析と自然言語推論モデルのための挑戦的なサブグループの精度を著しく改善する。
• 参考スコア（独自算出の注目度）: 6.9649605149785465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even when aggregate accuracy is high, state-of-the-art NLP models often fail systematically on specific subgroups of data, resulting in unfair outcomes and eroding user trust. Additional data collection may not help in addressing these weaknesses, as such challenging subgroups may be unknown to users, and underrepresented in the existing and new data. We propose Targeted Data Generation (TDG), a framework that automatically identifies challenging subgroups, and generates new data for those subgroups using large language models (LLMs) with a human in the loop. TDG estimates the expected benefit and potential harm of data augmentation for each subgroup, and selects the ones most likely to improve within group performance without hurting overall performance. In our experiments, TDG significantly improves the accuracy on challenging subgroups for state-of-the-art sentiment analysis and natural language inference models, while also improving overall test accuracy.
• Abstract（参考訳）: 集約精度が高い場合でも、最先端のNLPモデルはデータの特定のサブグループで体系的に失敗し、不公平な結果とユーザ信頼を損なう。 新たなデータ収集は、これらの弱点に対処する助けにならない可能性がある。 本稿では,課題のあるサブグループを自動的に識別し,ループ内に人間が参加する大規模言語モデル(llms)を用いて,それらのサブグループに対して新たなデータを生成するフレームワークであるtarget data generation(tdg)を提案する。 TDGは、各サブグループに対するデータ拡張の期待される利益と潜在的な害を推定し、全体的なパフォーマンスを損なうことなく、グループパフォーマンス内で最も改善する可能性のあるものを選択する。 実験では、TDGは、最先端の感情分析と自然言語推論モデルのための挑戦的なサブグループの精度を大幅に向上するとともに、全体のテスト精度も向上する。

関連論文リスト

• Data Debiasing with Datamodels (D3M): Improving Subgroup Robustness via Data Selection [80.85902083005237]
  データモデルによるデータデバイアス(Data Debiasing with Datamodels, D3M)は、マイノリティグループにおけるモデルの障害を駆動する特定のトレーニング例を分離し、削除するデバイアス(debiasing)アプローチである。
  論文  参考訳（メタデータ） (2024-06-24T17:51:01Z)
• Towards More Practical Group Activity Detection: A New Benchmark and Model [61.39427407758131]
  グループアクティビティ検出(グループアクティビティ検出、英: Group Activity Detection、GAD)は、ビデオにおいて、各グループのメンバを特定し、同時にグループのアクティビティを分類するタスクである。 私たちはCaf'eと呼ばれる新しいデータセットを提示し、より実用的なシナリオとメトリクスを提示します。 また、未知数のグループと潜在グループメンバーを効率的に効率的に扱う新しいGADモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-05T16:48:17Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• Pushing the Accuracy-Group Robustness Frontier with Introspective Self-play [16.262574174989698]
  Introspective Self-play (ISP)は、データセットバイアス下でのディープニューラルネットワークの不確実性推定を改善するための単純なアプローチである。 ISPはモデル表現のバイアス認識と結果の不確実性評価を確実に改善することを示す。
  論文  参考訳（メタデータ） (2023-02-11T22:59:08Z)
• AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization [109.91265884632239]
  群分散ロバスト最適化(G-DRO)は、トレーニングデータに対する事前定義されたグループのセットに対する最悪の損失を最小限にすることができる。 本稿では、分散ロバスト最適化のためのAGRO -- Adversarial Group Discoveryを提案する。 AGROは、既知の最悪のグループの平均モデルパフォーマンスを8%向上させる。
  論文  参考訳（メタデータ） (2022-12-02T00:57:03Z)
• Data-IQ: Characterizing subgroups with heterogeneous outcomes in tabular data [81.43750358586072]
  本稿では,サンプルをサブグループに体系的に階層化するフレームワークであるData-IQを提案する。 実世界の4つの医療データセットに対するData-IQの利点を実験的に実証した。
  論文  参考訳（メタデータ） (2022-10-24T08:57:55Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• DoGR: Disaggregated Gaussian Regression for Reproducible Analysis of Heterogeneous Data [4.720638420461489]
  データを重なり合うクラスタ(分散)に分割し,その内の動作をモデル化することで,潜在的共同設立者を検出するDoGRを導入する(回帰)。 実世界のデータに適用すると,本手法は有意義なクラスタとその特徴的行動を発見し,グループ差と関心の帰結に対する影響について考察する。 我々のフレームワークは、潜伏した共同創設者を考慮し、ノイズの多い異種データの探索分析を促進し、新しいデータにもっと一般化した予測モデルを学ぶのに利用できる。
  論文  参考訳（メタデータ） (2021-08-31T01:58:23Z)
• Adversarial Filters of Dataset Biases [96.090959788952]
  大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。