論文の概要: Data Swarms: Optimizable Generation of Synthetic Evaluation Data

• arxiv url: http://arxiv.org/abs/2506.00741v1
• Date: Sat, 31 May 2025 23:03:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.672942
• Title: Data Swarms: Optimizable Generation of Synthetic Evaluation Data
• Title（参考訳）: Data Swarms: 最適な合成評価データ生成
• Authors: Shangbin Feng, Yike Wang, Weijia Shi, Yulia Tsvetkov,
• Abstract要約: 合成評価データの生成を最適化するアルゴリズムであるData Swarmsを提案する。 まず、既存のデータを用いて初期データ生成者の群れを訓練し、様々な評価目標を定義する。 次に、データジェネレータのスワムを最適化するために、パーティクルスワムを最適化する。 我々はそれをAdversarial Swarmsに拡張し、データジェネレータSwarmはより難しいデータを生成し、テストテイカーモデルSwarmはそのようなデータから学習する。
• 参考スコア（独自算出の注目度）: 44.974692730558544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Data Swarms, an algorithm to optimize the generation of synthetic evaluation data and advance quantitative desiderata of LLM evaluation. We first train a swarm of initial data generators using existing data, and define various evaluation objectives to reflect the desired properties of evaluation (e.g., generate more difficult problems for the evaluated models) and quantitatively evaluate data generators. We then employ particle swarm optimization to optimize the swarm of data generators, where they collaboratively search through the model parameter space to find new generators that advance these objectives. We further extend it to Adversarial Swarms, where the data generator swarm generates harder data while the test taker model swarm learns from such data, co-evolving dynamically for better data and models simultaneously. Extensive experiments demonstrate that Data Swarms outperforms eight data generation baselines across five evaluation objectives, while Adversarial Swarms produce more robust learning of synthetic data and stronger generalization. Further analysis reveals that Data Swarms successfully optimizes compositions of multiple evaluation objectives and generalizes to new off-the-shelf LLMs, unseen at optimization time.
• Abstract（参考訳）: 我々は,合成評価データの生成を最適化し,LLM評価の定量的デシラタを前進させるアルゴリズムであるData Swarmsを提案する。 まず、既存のデータを用いて初期データ生成者の群れを訓練し、評価の望ましい特性(例えば、評価モデルのより難しい問題を発生させる)を反映する様々な評価目標を定義し、データ生成者を定量的に評価する。 次に、粒子群最適化を用いてデータジェネレータの群集を最適化し、モデルパラメータ空間を協調して探索し、これらの目的を推し進める新しいジェネレータを探す。 さらにAdversarial Swarmsに拡張し、データジェネレータSwarmがより難しいデータを生成し、テストテイカーモデルSwarmがそのようなデータから学習し、より優れたデータとモデルと同時に動的に進化する。 データスワームは5つの評価目標に対して8つのデータ生成ベースラインを上回り、Adversarial Swarmsはより堅牢な合成データ学習とより強力な一般化を実現している。 さらに分析したところ、Data Swarmsは複数の評価対象の合成をうまく最適化し、最適化時に見えない新しい既製のLCMに一般化することがわかった。

関連論文リスト

• Synthetic ECG Generation for Data Augmentation and Transfer Learning in Arrhythmia Classification [1.7614607439356635]
  本稿では,Deep Learningと異なる生成モデルを用いて生成した合成データの有用性について検討する。 本研究では, 合成事前学習モデルを微調整し, 実データの比率を増大させることにより, 伝達学習の効果について検討する。
  論文  参考訳（メタデータ） (2024-11-27T15:46:34Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• When to Trust Your Data: Enhancing Dyna-Style Model-Based Reinforcement Learning With Data Filter [7.886307329450978]
  ダイナスタイルのアルゴリズムは、推定環境モデルからのシミュレーションデータを用いてモデルフリートレーニングを加速することにより、2つのアプローチを組み合わせる。 これまでの作業では、モデルアンサンブルを使用したり、実際の環境から収集されたデータで推定されたモデルを事前訓練することで、この問題に対処している。 本研究では,実環境において収集したデータから大きく分岐する推定モデルからシミュレーションデータを除去するアウト・オブ・ディストリビューションデータフィルタを提案する。
  論文  参考訳（メタデータ） (2024-10-16T01:49:03Z)
• Enhancing Indoor Temperature Forecasting through Synthetic Data in Low-Data Environments [42.8983261737774]
  合成データ生成のためのSoTA AI を用いたデータ拡張手法の有効性について検討する。 そこで本研究では,実データと合成データの融合戦略を探求し,予測モデルの改善を図る。
  論文  参考訳（メタデータ） (2024-06-07T12:36:31Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。