論文の概要: Synthetic Artifact Auditing: Tracing LLM-Generated Synthetic Data Usage in Downstream Applications

• arxiv url: http://arxiv.org/abs/2502.00808v1
• Date: Sun, 02 Feb 2025 14:18:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:39.329668
• Title: Synthetic Artifact Auditing: Tracing LLM-Generated Synthetic Data Usage in Downstream Applications
• Title（参考訳）: 合成アーチファクト監査:下流アプリケーションにおけるLLM生成合成データ利用の追跡
• Authors: Yixin Wu, Ziqing Yang, Yun Shen, Michael Backes, Yang Zhang,
• Abstract要約: 大規模言語モデル(LLM)は高品質で費用対効果の高い合成データの生成を促進する。 LLMが生成する合成データは、社会的バイアスやステレオタイプを永続し、増幅する。 本稿では,メトリクスベースの監査,チューニングベースの監査,分類ベースの監査を含む3つの手法による監査フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.959375006516375
• License:
• Abstract: Large language models (LLMs) have facilitated the generation of high-quality, cost-effective synthetic data for developing downstream models and conducting statistical analyses in various domains. However, the increased reliance on synthetic data may pose potential negative impacts. Numerous studies have demonstrated that LLM-generated synthetic data can perpetuate and even amplify societal biases and stereotypes, and produce erroneous outputs known as ``hallucinations'' that deviate from factual knowledge. In this paper, we aim to audit artifacts, such as classifiers, generators, or statistical plots, to identify those trained on or derived from synthetic data and raise user awareness, thereby reducing unexpected consequences and risks in downstream applications. To this end, we take the first step to introduce synthetic artifact auditing to assess whether a given artifact is derived from LLM-generated synthetic data. We then propose an auditing framework with three methods including metric-based auditing, tuning-based auditing, and classification-based auditing. These methods operate without requiring the artifact owner to disclose proprietary training details. We evaluate our auditing framework on three text classification tasks, two text summarization tasks, and two data visualization tasks across three training scenarios. Our evaluation demonstrates the effectiveness of all proposed auditing methods across all these tasks. For instance, black-box metric-based auditing can achieve an average accuracy of $0.868 \pm 0.071$ for auditing classifiers and $0.880 \pm 0.052$ for auditing generators using only 200 random queries across three scenarios. We hope our research will enhance model transparency and regulatory compliance, ensuring the ethical and responsible use of synthetic data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、下流モデルを開発し、様々な領域で統計分析を行うための高品質で費用効率のよい合成データを生成するのに役立っている。 しかし、合成データへの依存度が高まると、潜在的な負の影響が生じる可能性がある。 LLMが生成する合成データは、社会的バイアスやステレオタイプを永続し、増幅し、事実の知識から逸脱する ''hallucinations' と呼ばれる誤ったアウトプットを生成できることを示した多くの研究がある。 本稿では,分類器,ジェネレータ,統計プロットなどのアーティファクトを監査し,合成データに基づいて訓練されたものを識別し,ユーザの意識を高め,下流アプリケーションにおける予期せぬ結果やリスクを低減することを目的とする。 そこで本研究では,LLM生成合成データから人工物が導出されているかどうかを評価するために,人工人工物監査を導入する第一歩を踏み出した。 次に,メトリクスベースの監査,チューニングベースの監査,分類ベースの監査という3つの手法を用いた監査フレームワークを提案する。 これらのメソッドは、アーティファクト所有者がプロプライエタリなトレーニングの詳細を公開することなく動作する。 我々は,3つのテキスト分類タスク,2つのテキスト要約タスク,および3つのトレーニングシナリオにおける2つのデータ可視化タスクについて,監査フレームワークの評価を行った。 本評価は,これらの課題にまたがる全ての監査手法の有効性を実証するものである。 例えば、ブラックボックスのメトリックベースの監査は、監査分類器では0.868 \pm 0.071$、監査ジェネレータでは0.880 \pm 0.052$で、3つのシナリオで200のランダムクエリしか使用できない。 われわれの研究は、モデルの透明性と規制コンプライアンスを強化し、合成データの倫理的かつ責任ある使用を確実にすることを期待している。

関連論文リスト

• Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
  本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。 我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。 推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-02-14T16:16:02Z)
• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 得られたモデルLibraChemは,Claude-3,GPT-4o,LLaMA-3などのLLMをそれぞれ13.44%,7.16%,7.10%で上回った。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• IDGen: Item Discrimination Induced Prompt Generation for LLM Evaluation [15.895295957106772]
  大規模言語モデル(LLMs)を評価するためのID誘発即時合成フレームワークを提案する。 我々のデータ合成フレームワークは、幅と特異性の両方を優先し、LLMの能力を包括的に評価するプロンプトを生成することができる。 我々は、LSMの評価研究を容易にするために、3000以上の慎重に作成されたプロンプトのデータセットをリリースする。
  論文  参考訳（メタデータ） (2024-09-27T16:29:12Z)
• Efficacy of Synthetic Data as a Benchmark [3.2968976262860408]
  大規模言語モデル(LLM)による合成データ生成の有効性について検討する。 実験の結果, 単純なタスクに対して, 合成データは様々な手法の性能を効果的に捉えることができるが, 名前付きエンティティ認識のような複雑なタスクでは不十分であることがわかった。 我々は、ベンチマークデータの生成とタスクの実行の両方に同じLLMを使用した場合のバイアスを評価するバイアス係数と呼ばれる新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-09-18T13:20:23Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification [11.6055501181235]
  モデル崩壊防止のための合成データに対する検証手法について検討する。 検証器は、たとえ不完全なものであっても、モデル崩壊を防ぐために実際に活用できることが示される。
  論文  参考訳（メタデータ） (2024-06-11T17:46:16Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• Can You Rely on Your Model Evaluation? Improving Model Evaluation with Synthetic Test Data [75.20035991513564]
  本稿では,モデル評価を容易にする深層生成モデリングフレームワークである3Sテストを紹介する。 私たちの実験では、3Sテストが従来のベースラインより優れていることが示されています。 これらの結果は、限られた実テストデータから合成テストデータへのパラダイムシフトが必要かどうかという問題を提起する。
  論文  参考訳（メタデータ） (2023-10-25T10:18:44Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Epistemic Parity: Reproducibility as an Evaluation Metric for Differential Privacy [9.755020926517291]
  本稿では,プロキシタスクの表現性に関する仮定を回避した合成データの評価手法を提案する。 著者が合成データを使用した場合、公表された結論が変わる可能性を測定する。 我々は、より強力なユーティリティ保証を支持し、プライバシー保護を提供する新しい種類のメカニズムを提唱する。
  論文  参考訳（メタデータ） (2022-08-26T14:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。