論文の概要: SynthBio: A Case Study in Human-AI Collaborative Curation of Text Datasets

• arxiv url: http://arxiv.org/abs/2111.06467v1
• Date: Thu, 11 Nov 2021 21:21:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-15 23:20:46.713759
• Title: SynthBio: A Case Study in Human-AI Collaborative Curation of Text Datasets
• Title（参考訳）: SynthBio:テキストデータセットの人間-AI協調的キュレーションの事例研究
• Authors: Ann Yuan, Daphne Ippolito, Vitaly Nikolaev, Chris Callison-Burch, Andy Coenen, Sebastian Gehrmann
• Abstract要約: 効率的なデータセットキュレーションのための新しい手法を提案する。 私たちは大きな言語モデルを使って、人間のレイパーにシード世代を提供しています。 われわれの架空の伝記のデータセットはWikiBioより騒がしい。
• 参考スコア（独自算出の注目度）: 26.75449546181059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NLP researchers need more, higher-quality text datasets. Human-labeled datasets are expensive to collect, while datasets collected via automatic retrieval from the web such as WikiBio are noisy and can include undesired biases. Moreover, data sourced from the web is often included in datasets used to pretrain models, leading to inadvertent cross-contamination of training and test sets. In this work we introduce a novel method for efficient dataset curation: we use a large language model to provide seed generations to human raters, thereby changing dataset authoring from a writing task to an editing task. We use our method to curate SynthBio - a new evaluation set for WikiBio - composed of structured attribute lists describing fictional individuals, mapped to natural language biographies. We show that our dataset of fictional biographies is less noisy than WikiBio, and also more balanced with respect to gender and nationality.
• Abstract（参考訳）: nlp研究者はより高品質なテキストデータセットを必要としている。 人ラベル付きデータセットは収集に費用がかかるが、WikiBioのようなWebからの自動検索によって収集されたデータセットは騒々しく、望ましくないバイアスを含むことができる。 さらに、Webからソースされたデータは、しばしばモデルの事前トレーニングに使われるデータセットに含まれ、トレーニングとテストセットの不注意なクロス汚染につながる。 本研究では,大規模な言語モデルを用いて,人間のレーダにシード世代を提供することにより,文章作成タスクから編集タスクへのデータセットオーサリングを変化させる,効率的なデータセットキュレーション手法を提案する。 本手法は,自然言語にマッピングされた架空の人物を記述する構造化属性リストのwikibiocomposedのための新しい評価セットであるsynthbioをキュレートする。 われわれの架空の伝記のデータセットはWikiBioよりも騒々しくなく、性別や国籍に関してはバランスがとれている。

関連論文リスト

• SciER: An Entity and Relation Extraction Dataset for Datasets, Methods, and Tasks in Scientific Documents [49.54155332262579]
  我々は,科学論文のデータセット,メソッド,タスクに関連するエンティティに対して,新たなエンティティと関係抽出データセットをリリースする。 我々のデータセットには、24k以上のエンティティと12kの関係を持つ106の注釈付きフルテキストの科学出版物が含まれています。
  論文  参考訳（メタデータ） (2024-10-28T15:56:49Z)
• Guided Distant Supervision for Multilingual Relation Extraction Data: Adapting to a New Language [7.59001382786429]
  本稿では,ドイツにおける大規模生物関係抽出データセットの作成のために,遠距離監視法を適用した。 我々のデータセットは,9種類の関係型に対して80,000以上のインスタンスで構成されており,ドイツで最大規模の関係抽出データセットである。 私たちは、自動生成されたデータセット上に、最先端の機械学習モデルをトレーニングし、それらもリリースします。
  論文  参考訳（メタデータ） (2024-03-25T19:40:26Z)
• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Integrating curation into scientific publishing to train AI models [1.6982459897303823]
  我々は,複数モーダルデータキュレーションを学術出版プロセスに組み込んで,セグメント化された図形パネルやキャプションに注釈を付ける。 SourceData-NLPというデータセットには、620,000以上の注釈付きバイオメディカルエンティティが含まれている。 我々は、名前付き認識、図形キャプションを構成パネルに分割すること、コンテキスト依存型セマンティックタスクを用いて、AIモデルをトレーニングするためのデータセットの有用性を評価する。
  論文  参考訳（メタデータ） (2023-10-31T13:22:38Z)
• BioREx: Improving Biomedical Relation Extraction by Leveraging Heterogeneous Datasets [7.7587371896752595]
  生物医学的関係抽出(RE)は、生物医学的自然言語処理(NLP)研究における中心的な課題である。 本稿では、個々のデータセットのデータの均一性を体系的に解決し、それらを大きなデータセットに組み合わせるための新しいフレームワークを提案する。 評価の結果,BioRExは個々のデータセットでトレーニングしたベンチマークシステムよりも大幅に高い性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-06-19T22:48:18Z)
• Unsupervised Neural Stylistic Text Generation using Transfer learning and Adapters [66.17039929803933]
  応答生成のためのスタイル特化属性を学習するために,モデルパラメータの0.3%しか更新しない新しい転送学習フレームワークを提案する。 我々はPERSONALITY-CAPTIONSデータセットからスタイル固有の属性を学習する。
  論文  参考訳（メタデータ） (2022-10-07T00:09:22Z)
• BigBIO: A Framework for Data-Centric Biomedical Natural Language Processing [13.30221348538759]
  バイオメディカルNLPデータセット126以上のコミュニティライブラリであるBigBIOを紹介する。 BigBIOは、データセットとそのメタデータへのプログラムアクセスを通じて、再現可能なメタデータキュレーションを容易にする。 本稿では,タスクスキーマ,データ監査,コントリビューションガイドライン,および2つの実証的ユースケースの概要について論じる。
  論文  参考訳（メタデータ） (2022-06-30T07:15:45Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization [80.94424037751243]
  ゼロショット多言語抽出テキスト要約では、通常、モデルは英語のデータセットに基づいて訓練され、他の言語の要約データセットに適用される。 本研究では,NLS(Neural Label Search for Summarization)を提案する。 我々はMLSUMとWikiLinguaのデータセット上で多言語ゼロショット要約実験を行い、人間と自動両方の評価を用いて最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-04-28T14:02:16Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。