論文の概要: Adversarial Arena: Crowdsourcing Data Generation through Interactive Competition

• arxiv url: http://arxiv.org/abs/2604.17803v1
• Date: Mon, 20 Apr 2026 04:51:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.696175
• Title: Adversarial Arena: Crowdsourcing Data Generation through Interactive Competition
• Title（参考訳）: Adversarial Arena: インタラクティブコンペティションによるクラウドソーシングデータ生成
• Authors: Prasoon Goyal, Sattvik Sahai, Michael Johnston, Hangjie Shi, Yao Lu, Shaohua Liu, Anna Rumshisky, Rahul Gupta, Anna Gottardi, Desheng Zhang, Lavina Vaz, Leslie Ball, Lucy Hu, Luke Dai, Samyuth Sagi, Maureen Murray, Sankaranarayanan Ananthakrishnan,
• Abstract要約: 訓練後の大規模言語モデルには、希少かつコストがかかる多種多様な高品質なデータが必要である。 一般的なソリューションはクラウドソーシングや合成生成であるが、どちらも低品質または低多様性のデータを生成することが多い。 本稿では,高品質な会話データセット構築のために,データ生成を逆タスクとしてフレーミングするAdversarial Arenaを紹介する。
• 参考スコア（独自算出の注目度）: 20.45748668740731
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Post-training Large Language Models requires diverse, high-quality data which is rare and costly to obtain, especially in low resource domains and for multi-turn conversations. Common solutions are crowdsourcing or synthetic generation, but both often yield low-quality or low-diversity data. We introduce Adversarial Arena for building high quality conversational datasets by framing data generation as an adversarial task: attackers create prompts, and defenders generate responses. This interactive competition between multiple teams naturally produces diverse and complex data. We validated this approach by conducting a competition with 10 academic teams from top US and European universities, each building attacker or defender bots. The competition, focused on safety alignment of LLMs in cybersecurity, generated 19,683 multi-turn conversations. Fine-tuning an open-source model on this dataset produced an 18.47% improvement in secure code generation on CyberSecEval-Instruct and 29.42% improvement on CyberSecEval-MITRE.
• Abstract（参考訳）: 訓練後の大規模言語モデルは、特に低リソース領域やマルチターン会話において、入手に稀でコストがかかる多様な高品質なデータを必要とする。 一般的なソリューションはクラウドソーシングや合成生成であるが、どちらも低品質または低多様性のデータを生成することが多い。 攻撃者はプロンプトを作成し、ディフェンダーは応答を生成する。 この複数のチーム間の対話的な競争は、自然に多様で複雑なデータを生み出します。 我々は、米国とヨーロッパの大学のトップ10の学術チームと、それぞれがアタッカーやディフェンダーボットを構築することで、このアプローチを検証した。 このコンペティションは、サイバーセキュリティにおけるLLMの安全性の整合性に焦点を当て、19,683件のマルチターン会話を生み出した。 このデータセットでオープンソースモデルを微調整すると、CyberSecEval-MITREのセキュアなコード生成が18.47%改善され、CyberSecEval-MITREは29.42%改善された。

関連論文リスト

• Synthetic Data Generation for Training Diversified Commonsense Reasoning Models [23.60214903525184]
  分散化(GCR)のための最初の合成データセットCommonSynを作成するための2段階手法を提案する。 合成データに基づいて微調整したモデルでは,バニラモデルと比較して生成の多様性と品質が両立している。
  論文  参考訳（メタデータ） (2026-03-18T23:58:37Z)
• The role of synthetic data in Multilingual, Multi-cultural AI systems: Lessons from Indic Languages [18.087937520281965]
  インドの13言語にまたがる950万のデータポイントからなる大規模合成命令追従データセットであるUpdeshを紹介した。 自動メトリクスと人的アノテーションの両方を10k評価に取り入れた総合的な評価は、生成されたデータが高品質であることを示している。 Updeshでトレーニングされたモデルは、生成タスクにおいて一貫して大きな利益を達成し、多重選択スタイルのNLUタスクにおいて競争力を維持する。
  論文  参考訳（メタデータ） (2025-09-25T15:13:00Z)
• TalkVid: A Large-Scale Diversified Dataset for Audio-Driven Talking Head Synthesis [74.31705485094096]
  7729のユニークなスピーカーから1244時間のビデオを含む、大規模で高品質で多様なデータセットであるTalkVidを紹介した。 TalkVidは、動作の安定性、美的品質、顔のディテールを厳格にフィルタする、原則付き多段階自動パイプラインを通じてキュレートされる。 TalkVid-Benchは、500クリップの階層化された評価セットで、重要な人口統計学と言語学の軸間で慎重にバランスを取ります。
  論文  参考訳（メタデータ） (2025-08-19T08:31:15Z)
• DuoGuard: A Two-Player RL-Driven Framework for Multilingual LLM Guardrails [12.621656255109546]
  本稿では,多言語ガードレール学習のための高品質な合成データを生成するために,ジェネレータとガードレールモデルが逆方向に共進化する新しい2要素強化学習フレームワークを提案する。 実験により、我々のモデルは最先端モデルよりも優れており、LlamaGuard3よりも10%近く改善されていることが示された。
  論文  参考訳（メタデータ） (2025-02-07T18:45:03Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• Open Artificial Knowledge [3.187724439601991]
  我々は5億以上のトークンからなる大規模リソースであるOpen Artificial Knowledge (OAK)データセットを紹介した。 OAKデータセットは、より有能で整合した言語モデルの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-07-19T15:01:24Z)
• Faithful Persona-based Conversational Dataset Generation with Large Language Models [10.506653172302222]
  高品質な会話データセットは、ユーザと通信可能なAIモデルを開発する上で不可欠である。 我々は,会話の質を向上しつつ,初期データセットを拡張するためのGenerator-Criticアーキテクチャフレームワークを提案する。 我々はPersona-Chatからシードされた20万の会話からなるSynthetic-Persona-Chatをリリースする。
  論文  参考訳（メタデータ） (2023-12-15T18:23:50Z)
• AutoConv: Automatically Generating Information-seeking Conversations with Large Language Models [74.10293412011455]
  合成会話生成のためのAutoConvを提案する。 具体的には,会話生成問題を言語モデリングタスクとして定式化する。 我々は、情報探索プロセスの特徴を捉えるために、人間同士の会話でLLMを微調整する。
  論文  参考訳（メタデータ） (2023-08-12T08:52:40Z)
• Does Collaborative Human-LM Dialogue Generation Help Information Extraction from Human Dialogues? [55.28340832822234]
  実際のアプリケーションにおける人間の対話の問題解決は、既存のWizard-of-Ozコレクションよりもはるかに複雑である。 本稿では,リアルな対話を合成できる人間間対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-13T20:02:50Z)
• Learning towards Selective Data Augmentation for Dialogue Generation [52.540330534137794]
  すべての事例が増補作業に有益である訳ではなく、増補に適した事例は以下の2つの属性に従うべきであると我々は主張する。 応答生成タスクに対してSDA(Selective Data Augmentation framework)を提案する。
  論文  参考訳（メタデータ） (2023-03-17T01:26:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。