論文の概要: A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis

• arxiv url: http://arxiv.org/abs/2504.12322v1
• Date: Fri, 11 Apr 2025 06:13:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:39:34.387938
• Title: A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis
• Title（参考訳）: データ合成における大規模LLMと一致する小型LLMの戦略的コーディネート
• Authors: Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu,
• Abstract要約: 大規模言語モデル(LLM)は、計算コスト、環境不効率、モノリシックアーキテクチャから受け継いだ潜在的なバイアスに悩まされる。 我々は、高品質で多様な信頼性のあるデータを生成するために、小さなLLMにまたがる特殊な役割を集約する協調的なフレームワークGRAを提案する。 本研究は,データ合成におけるモノリシックな大規模モデルの必要性に挑戦し,より小さなエージェントの戦略的コーディネーションを提唱する。
• 参考スコア（独自算出の注目度）: 43.74674940326829
• License:
• Abstract: While data synthesis and distillation are promising strategies to enhance small language models, current approaches heavily rely on Large Language Models (LLMs), which suffer from high computational costs, environmental inefficiency, and potential biases inherited from monolithic architectures. In contrast, smaller LLMs are more accessible and sustainable, but their individual capabilities often fall short in generating high-quality, diverse, and reliable data. Inspired by collaborative human processes (e.g., peer review), we propose a multiple small LLMs involved framework, GRA, that aggregates specialized roles across small LLMs to iterative refinement and quality control typically achieved by a single large LLM. In this collaborative framework, multiple small LLMs assume distinct roles-Generator, Reviewer, and Adjudicator-to simulate a peer-review-inspired data synthesis pipeline. The Generator proposes initial data samples, the Reviewer critiques their quality and diversity, and the Adjudicator resolves conflicts to finalize the output. By decomposing the synthesis process into specialized sub-tasks, collaborative small LLMs can achieve data-level parity with large LLM-based distillation. Through experiments across multiple benchmarks, we demonstrate that GRA-produced data matches or exceeds the quality of single large LLM outputs, e.g., Qwen-2.5-72B-Instruct. Our results challenge the necessity of monolithic large models for high-quality data synthesis, advocating instead for strategic coordination of smaller agents. Our datasets, models, and code are publicly available at https://github.com/GX-XinGao/GRA.
• Abstract（参考訳）: データ合成と蒸留は、小さな言語モデルを強化するための有望な戦略であるが、現在のアプローチは、高い計算コスト、環境の非効率性、モノリシックアーキテクチャから受け継いだ潜在的なバイアスに悩まされているLarge Language Models (LLMs) に大きく依存している。 対照的に、より小さなLCMはよりアクセスしやすく、持続可能であるが、それらの個々の能力は、高品質で多様な信頼性のあるデータを生成するのに不足することが多い。 協調的な人的プロセス(例えば、ピアレビュー)に触発され、我々は、単一の大きなLLMによって通常達成される反復的洗練と品質管理のために、小さなLLMにまたがる特別な役割を集約する複数の小さなLLMフレームワーク、GRAを提案する。 このコラボレーティブフレームワークでは、複数の小さなLLMが、ピアレビューにインスパイアされたデータ合成パイプラインをシミュレートするために、異なる役割であるGenerator、Reviewer、Adjudicatorを前提としています。 Generatorは初期データサンプルを提案し、Reviewerはその品質と多様性を批判し、Adjudicatorはコンフリクトを解決して出力を確定する。 合成過程を特別なサブタスクに分解することで、LLMベースの大規模蒸留によるデータレベルのパリティを実現することができる。 複数のベンチマークによる実験により、GRAが生成したデータは単一のLLM出力(例えばQwen-2.5-72B-Instruct)の品質と一致するか、超えるかを示す。 本研究は,データ合成におけるモノリシックな大規模モデルの必要性に挑戦し,より小さなエージェントの戦略的コーディネーションを提唱する。 データセット、モデル、コードはhttps://github.com/GX-XinGao/GRAで公開されています。

関連論文リスト

• Symbiotic Cooperation for Web Agents: Harnessing Complementary Strengths of Large and Small LLMs [38.86873408585195]
  大規模言語モデル(LLM)を利用したWebブラウジングエージェントは、複雑なWebベースのタスクを自動化する大きな可能性を示している。 既存のアプローチは通常、Web環境を探索し、軌跡データを生成するために大きなLLMに依存している。 本稿では,データ合成とタスクパフォーマンスを結合した反復的フレームワークであるAgentSymbioticを提案する。
  論文  参考訳（メタデータ） (2025-02-11T20:41:49Z)
• LLM Chain Ensembles for Scalable and Accurate Data Annotation [1.7388851660609117]
  大規模言語モデル(LLM)はゼロショット分類を行うことができるが、大規模デプロイメントは高価である。 本稿では,複数のLLMを列に並べたLLMチェーンアンサンブル手法を提案し,データサブセットをその後のモデルにルーティングする。 以上の結果から,チェーンアンサンブル法は,チェーン内の最高の個々のモデルの性能を上回り,大幅なコスト削減を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-10-16T20:03:51Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる顕著な性能のために広く採用されている。 これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。 本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Generative Multimodal Entity Linking [24.322540112710918]
  MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。 既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。 大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。 当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
  論文  参考訳（メタデータ） (2023-06-22T07:57:19Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。