論文の概要: A Little Human Data Goes A Long Way

• arxiv url: http://arxiv.org/abs/2410.13098v1
• Date: Thu, 17 Oct 2024 00:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:22:41.251559
• Title: A Little Human Data Goes A Long Way
• Title（参考訳）: 小さな人間のデータが長い道のりを歩む
• Authors: Dhananjay Ashok, Jonathan May,
• Abstract要約: Fact Verification (FV) と Question Answering (QA) における合成データの利用について検討する。 純粋に合成されたデータに基づいてトレーニングされたモデルは、125個の人為的なデータポイントを含むことで、確実に改善できることがわかった。
• 参考スコア（独自算出の注目度）: 28.80639362933004
• License:
• Abstract: Faced with an expensive human annotation process, creators of NLP systems increasingly turn to synthetic data generation. While this method shows promise, the extent to which synthetic data can replace human annotation is poorly understood. We investigate the use of synthetic data in Fact Verification (FV) and Question Answering (QA) by studying the effects of incrementally replacing human generated data with synthetic points on eight diverse datasets. Strikingly, replacing up to 90% of the training data only marginally decreases performance, but replacing the final 10% leads to severe declines. We find that models trained on purely synthetic data can be reliably improved by including as few as 125 human generated data points. We show that matching the performance gain of just a little additional human data (only 200 points) requires an order of magnitude more synthetic data and estimate price ratios at which human annotation would be a more cost-effective solution. Our results suggest that even when human annotation at scale is infeasible, there is great value to having a small proportion of the dataset being human generated.
• Abstract（参考訳）: 高価な人間のアノテーションプロセスに直面して、NLPシステムの作者たちは、ますます合成データ生成に目を向けている。 この方法は有望性を示すが、人工的なデータが人間のアノテーションに取って代わる程度は理解されていない。 本研究では,Fact Verification (FV) と Question Answering (QA) における合成データの利用について,8つの多様なデータセットに対して,人間の生成データと合成点を漸進的に置き換える効果について検討した。 興味深いことに、トレーニングデータの最大90%を置き換えることは、パフォーマンスをわずかに低下させるが、最終的な10%を置き換えることで、大幅に低下する。 純粋に合成されたデータに基づいてトレーニングされたモデルは、125個の人為的なデータポイントを含むことで、確実に改善できることがわかった。 若干の人的データ(200ポイントのみ)のパフォーマンス向上に合わせるには、人間のアノテーションがよりコスト効率の良いソリューションとなるような、はるかに多くの合成データと価格比を見積もる必要がある。 以上の結果から,大規模なアノテーションが実現不可能な場合でも,データセットのごく一部が生成されることには大きな価値があることが示唆された。

関連論文リスト

• How to Synthesize Text Data without Model Collapse? [37.219627817995054]
  合成データのモデル崩壊は、自己生成データに対する反復的なトレーニングが徐々に性能を低下させることを示している。 半合成データを得るために,人為的データに対するトークン編集を提案する。
  論文  参考訳（メタデータ） (2024-12-19T09:43:39Z)
• Little Giants: Synthesizing High-Quality Embedding Data at Scale [71.352883755806]
  SPEEDは,オープンソースの小型モデルと協調して大規模な埋め込みデータを効率的に生成するフレームワークである。 SPEEDはGPT API呼び出しの1/10未満しか使用せず、両者が合成データのみに基づいてトレーニングされている場合、最先端の埋め込みモデルE5_mistralよりも優れている。
  論文  参考訳（メタデータ） (2024-10-24T10:47:30Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Exploring the Impact of Synthetic Data for Aerial-view Human Detection [17.41001388151408]
  航空ビューによる人間の検出は、より多様な人間の外観を捉えるために、大規模なデータに対する大きな需要がある。 合成データはデータを拡張するのに十分なリソースだが、実際のデータとのドメインギャップは、トレーニングで使用する上で最大の障害である。
  論文  参考訳（メタデータ） (2024-05-24T04:19:48Z)
• Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
  そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。 次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。 私たちのアプローチは、以前のベースラインを最大5%上回ります。
  論文  参考訳（メタデータ） (2023-11-10T18:38:14Z)
• Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
  ※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。 本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。 提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-20T17:14:25Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Synthetically Generating Human-like Data for Sequential Decision Making Tasks via Reward-Shaped Imitation Learning [0.5801044612920815]
  我々は,コンピュータゲームのような対話型人間AIシステムにおいて,人間の判断と密接に類似するデータを合成的に生成する問題を考える。 そこで本研究では,人間から収集した意思決定データのごく小さなセットから始まりながら,人間的な意思決定データを生成する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:48:57Z)
• PeopleSansPeople: A Synthetic Data Generator for Human-Centric Computer Vision [3.5694949627557846]
  我々は人間中心の合成データ生成装置 PeopleSansPeople をリリースする。 シミュレーション可能な3Dアセット、パラメータ化照明とカメラシステム、および2Dおよび3Dバウンディングボックス、インスタンスとセマンティックセグメンテーション、COCOポーズラベルを生成する。
  論文  参考訳（メタデータ） (2021-12-17T02:33:31Z)
• Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation [41.9785159975426]
  最先端の質問応答モデルは、様々な敵の攻撃を受けやすいままであり、人間レベルの言語理解を得るには程遠い。 提案されている1つの方法は動的逆データ収集であり、人間のアノテータがループ内のモデルが失敗する例を作成しようとするものである。 本研究では,合成逆データ生成パイプラインを構成する複数の回答選択,質問生成,フィルタリング手法について検討する。 合成データと人為的データの両方で訓練されたモデルは、合成逆数データで訓練されていないモデルより優れ、対数上での最先端の結果を得る
  論文  参考訳（メタデータ） (2021-04-18T02:00:06Z)
• UnrealPerson: An Adaptive Pipeline towards Costless Person Re-identification [102.58619642363959]
  本稿では,unrealpersonという,非現実的な画像データをフル活用して,トレーニングとデプロイメントの両面でコストを削減する新しいパイプラインを提案する。 3,000のIDと12万のインスタンスで、MSMT17に直接転送されると38.5%のランク-1の精度が得られる。
  論文  参考訳（メタデータ） (2020-12-08T08:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。