論文の概要: SynthTextEval: Synthetic Text Data Generation and Evaluation for High-Stakes Domains

• arxiv url: http://arxiv.org/abs/2507.07229v1
• Date: Wed, 09 Jul 2025 19:05:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.177831
• Title: SynthTextEval: Synthetic Text Data Generation and Evaluation for High-Stakes Domains
• Title（参考訳）: SynthTextEval: ハイテイクドメインのためのテキストデータ生成と評価
• Authors: Krithika Ramesh, Daniel Smolyak, Zihao Zhao, Nupoor Gandhi, Ritu Agarwal, Margrét Bjarnadóttir, Anjalie Field,
• Abstract要約: 合成テキストの総合的な評価を行うためのツールキットであるSynthTextEvalを提案する。 我々は、AI開発における合成テキストの生存性の向上と、反転、プライバシー保護の実現を目指している。
• 参考スコア（独自算出の注目度）: 10.415089954401118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present SynthTextEval, a toolkit for conducting comprehensive evaluations of synthetic text. The fluency of large language model (LLM) outputs has made synthetic text potentially viable for numerous applications, such as reducing the risks of privacy violations in the development and deployment of AI systems in high-stakes domains. Realizing this potential, however, requires principled consistent evaluations of synthetic data across multiple dimensions: its utility in downstream systems, the fairness of these systems, the risk of privacy leakage, general distributional differences from the source text, and qualitative feedback from domain experts. SynthTextEval allows users to conduct evaluations along all of these dimensions over synthetic data that they upload or generate using the toolkit's generation module. While our toolkit can be run over any data, we highlight its functionality and effectiveness over datasets from two high-stakes domains: healthcare and law. By consolidating and standardizing evaluation metrics, we aim to improve the viability of synthetic text, and in-turn, privacy-preservation in AI development.
• Abstract（参考訳）: 合成テキストの総合的な評価を行うためのツールキットであるSynthTextEvalを提案する。 大規模言語モデル(LLM)出力の流布により、多くのアプリケーションで合成テキストが実現可能になった。 しかし、この可能性を実現するには、下流システムにおけるその有用性、これらのシステムの公正性、プライバシー漏洩のリスク、ソーステキストからの一般的な分散的差異、ドメインの専門家からの質的なフィードバックなど、複数の次元にわたる合成データの一貫性のある評価が必要である。 SynthTextEvalを使えば、ユーザはツールキットの生成モジュールを使ってアップロードまたは生成する合成データを通じて、これらのすべての次元に沿って評価を行うことができる。 ツールキットはどんなデータでも実行できるが、医療と法律という2つの高い領域のデータセットよりも、その機能と有効性を強調している。 評価指標の統合と標準化により、AI開発における合成テキストの生存性の向上と、インターンでプライバシ保護を実現することを目指している。

関連論文リスト

• Mitigating the Privacy Issues in Retrieval-Augmented Generation (RAG) via Pure Synthetic Data [51.41288763521186]
  Retrieval-augmented Generation (RAG)は、外部知識ソースから取得した関連情報を統合することにより、言語モデルの出力を強化する。 RAGシステムは、プライベートデータを取得する際に深刻なプライバシーリスクに直面する可能性がある。 検索データに対するプライバシー保護の代替として,合成データを用いる方法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T22:53:09Z)
• SynthEval: A Framework for Detailed Utility and Privacy Evaluation of Tabular Synthetic Data [3.360001542033098]
  SynthEvalは、合成データのための新しいオープンソース評価フレームワークである。 特別な種類の前処理ステップを仮定することなく、分類的および数値的な属性を同等のケアで扱う。 我々のツールは統計的および機械学習技術を利用して、合成データの忠実度とプライバシー保護の整合性を包括的に評価する。
  論文  参考訳（メタデータ） (2024-04-24T11:49:09Z)
• A Multi-Faceted Evaluation Framework for Assessing Synthetic Data Generated by Large Language Models [3.672850225066168]
  生成AIと大規模言語モデル(LLM)は、合成データを生成するための新たな道を開いた。 潜在的なメリットにもかかわらず、プライバシー漏洩に関する懸念が浮上している。 我々は,合成表データの忠実さ,有用性,およびプライバシー保護を評価するために設計されたオープンソースの評価フレームワークであるSynEvalを紹介する。
  論文  参考訳（メタデータ） (2024-04-20T08:08:28Z)
• Best Practices and Lessons Learned on Synthetic Data [83.63271573197026]
  AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。 合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
  論文  参考訳（メタデータ） (2024-04-11T06:34:17Z)
• A primer on synthetic health data [0.2770822269241974]
  深層生成モデルの最近の進歩は、現実的な合成健康データセットを作成する可能性を大きく広げている。 これらの合成データセットは、患者のアイデンティティやセンシティブな情報を開示することなく、特徴、パターン、全体的な科学的結論を保存することを目的としている。 しかし、合成データセットの類似性と予測ユーティリティを継続的に評価する方法など、多くの疑問や課題が残っている。
  論文  参考訳（メタデータ） (2024-01-31T08:13:35Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Statistical properties and privacy guarantees of an original distance-based fully synthetic data generation method [0.0]
  この研究は、多段階のフレームワークを用いて、公開リリース可能な合成データを生成する技術的実現可能性を示す。 新たな多段階合成データ生成フレームワークを用いて生成したデータの質を評価することで,Open-CESPイニシアチブの技術的,概念的健全性を実証した。
  論文  参考訳（メタデータ） (2023-10-10T12:29:57Z)
• Beyond Privacy: Navigating the Opportunities and Challenges of Synthetic Data [91.52783572568214]
  合成データは、機械学習の世界において支配的な力となり、データセットを個々のニーズに合わせて調整できる未来を約束する。 合成データのより広範な妥当性と適用のために,コミュニティが克服すべき根本的な課題について論じる。
  論文  参考訳（メタデータ） (2023-04-07T16:38:40Z)
• Enabling Synthetic Data adoption in regulated domains [1.9512796489908306]
  Model-CentricからData-Centricへの転換は、アルゴリズムよりもデータとその品質に重点を置いている。 特に、高度に規制されたシナリオにおける情報のセンシティブな性質を考慮する必要がある。 このようなコンウンドラムをバイパスする巧妙な方法は、生成プロセスから得られたデータであるSynthetic Dataに依存し、実際のデータプロパティを学習する。
  論文  参考訳（メタデータ） (2022-04-13T10:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。