論文の概要: SYNAuG: Exploiting Synthetic Data for Data Imbalance Problems

• arxiv url: http://arxiv.org/abs/2308.00994v3
• Date: Thu, 25 Apr 2024 09:53:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 23:57:24.377911
• Title: SYNAuG: Exploiting Synthetic Data for Data Imbalance Problems
• Title（参考訳）: SynAuG: データ不均衡問題に対する合成データのエクスプロイト
• Authors: Moon Ye-Bin, Nam Hyeon-Woo, Wonseok Choi, Nayeong Kim, Suha Kwak, Tae-Hyun Oh,
• Abstract要約: 本稿では,データ不均衡問題に対処する合成データの可能性について検討する。 具体的には、SynAuGと呼ばれる手法は、学習データの不均衡分布を等化するために合成データを利用する。 実データと合成データの間には領域ギャップが存在するが,SynAuGを用いたトレーニングと,いくつかの実データを用いた微調整により,優れた性能が得られることを示した。
• 参考スコア（独自算出の注目度）: 39.675787338941184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data imbalance in training data often leads to biased predictions from trained models, which in turn causes ethical and social issues. A straightforward solution is to carefully curate training data, but given the enormous scale of modern neural networks, this is prohibitively labor-intensive and thus impractical. Inspired by recent developments in generative models, this paper explores the potential of synthetic data to address the data imbalance problem. To be specific, our method, dubbed SYNAuG, leverages synthetic data to equalize the unbalanced distribution of training data. Our experiments demonstrate that, although a domain gap between real and synthetic data exists, training with SYNAuG followed by fine-tuning with a few real samples allows to achieve impressive performance on diverse tasks with different data imbalance issues, surpassing existing task-specific methods for the same purpose.
• Abstract（参考訳）: トレーニングデータにおけるデータの不均衡は、しばしば訓練されたモデルからのバイアスのある予測をもたらし、それによって倫理的および社会的問題を引き起こす。 簡単な解決策は、トレーニングデータを慎重にキュレートすることだが、現代のニューラルネットワークの膨大な規模を考えると、これは労働集約的で非現実的だ。 生成モデルの最近の発展に触発された本研究では,データ不均衡問題に対処するための合成データの可能性について検討する。 具体的には、SynAuGと呼ばれる手法は、学習データの不均衡分布を等化するために合成データを利用する。 実験の結果,実データと合成データのドメインギャップはあるものの,SynAuGを用いたトレーニングに続いて,いくつかの実データを用いて微調整を行うことで,データ不均衡の問題に対処し,既存のタスク固有のメソッドを越えながら,多種多様なタスクにおける印象的なパフォーマンスを実現することができた。

関連論文リスト

• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Synthetic Oversampling: Theory and A Practical Approach Using LLMs to Address Data Imbalance [16.047084318753377]
  不均衡なデータと急激な相関は、機械学習とデータサイエンスにおける一般的な課題である。 過度に表現されていないクラスのインスタンス数を人工的に増加させるオーバーサンプリングは、これらの課題に対処するために広く採用されている。 我々は,大規模言語モデルの能力を活用して,少数グループを対象とした高品質な合成データを生成する,体系的なオーバーサンプリング手法であるOPALを紹介する。
  論文  参考訳（メタデータ） (2024-06-05T21:24:26Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
  ※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。 本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。 提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-20T17:14:25Z)
• Synthetic Alone: Exploring the Dark Side of Synthetic Data for Grammatical Error Correction [5.586798679167892]
  データ中心のAIアプローチは、モデルを変更することなく、モデルのパフォーマンスを向上させることを目的としている。 データ品質管理手法は、実世界のデータで訓練されたモデルに肯定的な影響を与える。 合成データのみに基づいて訓練されたモデルでは、負の影響が観測される。
  論文  参考訳（メタデータ） (2023-06-26T01:40:28Z)
• Analyzing Effects of Fake Training Data on the Performance of Deep Learning Systems [0.0]
  ディープラーニングモデルは、クラス不均衡や分散シフトに対する堅牢性の欠如など、さまざまな問題に悩まされることが多い。 GAN(Generative Adversarial Networks)の出現により、高品質な合成データを生成することが可能になった。 本研究では, 各種合成データと原データとを混合した場合, アウト・オブ・ディストリビューションデータに対するモデルの堅牢性と, 予測の一般品質に影響を及ぼす影響を解析する。
  論文  参考訳（メタデータ） (2023-03-02T13:53:22Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
  合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。 合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。 我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
  論文  参考訳（メタデータ） (2021-08-25T02:29:28Z)
• Transitioning from Real to Synthetic data: Quantifying the bias in model [1.6134566438137665]
  本研究では,合成データを用いたモデルにおけるバイアスと公平性のトレードオフを確立することを目的とする。 合成データを用いて訓練したモデルには、様々なレベルのバイアスの影響があることを実証する。
  論文  参考訳（メタデータ） (2021-05-10T06:57:14Z)
• Foundations of Bayesian Learning from Synthetic Data [1.6249267147413522]
  我々はベイズパラダイムを用いて、合成データから学習する際のモデルパラメータの更新を特徴付ける。 ベイジアン・アップデートの最近の成果は、決定理論に基づく新しい、堅牢な合成学習のアプローチを支持している。
  論文  参考訳（メタデータ） (2020-11-16T21:49:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。