論文の概要: AIDE: Attribute-Guided MultI-Hop Data Expansion for Data Scarcity in Task-Specific Fine-tuning

• arxiv url: http://arxiv.org/abs/2412.06136v2
• Date: Mon, 14 Jul 2025 22:18:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 15:29:03.856915
• Title: AIDE: Attribute-Guided MultI-Hop Data Expansion for Data Scarcity in Task-Specific Fine-tuning
• Title（参考訳）: AIDE:タスク特化ファインタニングにおけるデータスカラシティのための属性ガイド型MultI-Hopデータ拡張
• Authors: Jiayu Li, Xuan Zhu, Fang Liu, Yanjun Qi,
• Abstract要約: 特定のタスクのための微調整された大型言語モデル(LLM)には、多種多様な高品質なトレーニングデータが必要である。 既存のデータ合成方法は、広範なシードデータセットに依存するか、タスクの関連性とデータの多様性のバランスをとるのに苦労する。 本稿では,Attribute-guided multI-hop Data Expansion (AIDE)を提案する。
• 参考スコア（独自算出の注目度）: 15.916595953695603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models (LLMs) for specific tasks requires diverse, high-quality training data. However, obtaining sufficient relevant data remains a significant challenge. Existing data synthesis methods either depend on extensive seed datasets or struggle to balance task relevance and data diversity. To address these challenges, we propose Attribute-guided multI-hop Data Expansion (AIDE), a novel data synthesis framework that uses a multi-hop process to expand very few seed data points while ensuring data diversity and task relevance. AIDE extracts the main topic and key knowledge attributes from the seeds to guide the synthesis steps. The process repeats for K hops, using the generated data as seeds. To prevent irrelevant data generation as the hop depth increases, AIDE incorporates a residual connection mechanism. Our empirical results show that AIDE enables fine-tuning of Mistral-7B, Llama-3.1-8B and Llama-3.2-3B from 10 seeds, surpassing the models fine-tuned on human curated data. Furthermore, AIDE outperforms state-of-the-art data synthesis methods, such as Evol-Instruct, by over 30% in task-specific fine-tuning. Code is available at https://github.com/Code4Graph/AIDE.
• Abstract（参考訳）: 特定のタスクのための微調整された大型言語モデル(LLM)には、多種多様な高品質なトレーニングデータが必要である。 しかし、十分な関連データを取得することは大きな課題である。 既存のデータ合成方法は、広範なシードデータセットに依存するか、タスクの関連性とデータの多様性のバランスをとるのに苦労する。 このような課題に対処するため,Attribute-guided multI-hop Data Expansion (AIDE)を提案する。 AIDEは、シードからメイントピックとキーナレッジ属性を抽出し、合成ステップをガイドする。 このプロセスはKホップに対して繰り返し、生成されたデータを種として使用する。 ホップ深さが増加するにつれて無関係なデータ生成を防止するため、AIDEは残留接続機構を組み込む。 実験の結果,AIDEは10種の種子からMistral-7B,Llama-3.1-8B,Llama-3.2-3Bの微調整が可能であり,ヒトのキュレートデータに微調整されたモデルを上回ることがわかった。 さらに、AIDEはタスク固有の微調整において、Evol-Instructのような最先端のデータ合成手法を30%以上上回っている。 コードはhttps://github.com/Code4Graph/AIDE.comで入手できる。

関連論文リスト

• AQuilt: Weaving Logic and Self-Inspection into Low-Cost, High-Relevance Data Synthesis for Specialist LLMs [24.511434195711267]
  AQuiltは、特定のドメインに対して、対応するラベルなしデータから命令チューニングデータを構築するためのフレームワークである。 我々は,強力なデータ合成モデルをトレーニングするために,703kサンプルのデータセットを構築した。
  論文  参考訳（メタデータ） (2025-07-24T17:03:27Z)
• UnitCoder: Scalable Iterative Code Synthesis with Unit Test Guidance [65.01483640267885]
  大きな言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示してきたが、コード生成は依然として大きな課題である。 私たちは、モデル生成ユニットテストを活用してコード生成プロセスのガイドと検証を行う、システマティックパイプラインであるUnitCoderを紹介します。 我々の研究は、モデル生成単体テストを利用して、事前学習コーパスから高品質なコードデータの合成を誘導するスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-17T05:37:02Z)
• BARE: Combining Base and Instruction-Tuned Language Models for Better Synthetic Data Generation [71.46236155101032]
  本研究では,ベースモデルの多様性とインストラクション学習モデルの品質を組み合わせた合成データ生成手法であるBase-Refineを提案する。 BARE生成データによる微調整は, GSM8Kの命令のみのデータよりも101%, RAFTのSOTA法より18.4%向上することを示す。
  論文  参考訳（メタデータ） (2025-02-03T00:12:40Z)
• Seed-Free Synthetic Data Generation Framework for Instruction-Tuning LLMs: A Case Study in Thai [5.670682861458055]
  タイ語を中心に,低リソース言語のための命令調整型大規模言語モデル(LLM)をデータ効率よく合成する手法を提案する。 教育訓練データセットの有効性に寄与する3つの重要な特性を同定する。 我々のフレームワークはLLMを用いて多様なトピックを生成し、ウィキペディアから関連するコンテキストを検索し、質問応答、要約、会話などの様々なタスクの指示を作成する。
  論文  参考訳（メタデータ） (2024-11-23T07:50:59Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Diversity-Driven Synthesis: Enhancing Dataset Distillation through Directed Weight Adjustment [39.137060714048175]
  多様性の向上は、データセットを合成するための並列化可能であるが孤立したアプローチを改善することができる、と我々は主張する。 本稿では,動的かつ指向的な重み調整技術を用いて合成過程を変調する新しい手法を提案する。 提案手法は,合成データの各バッチが,元のデータセットの大規模かつ多様なサブセットの特徴を反映していることを保証する。
  論文  参考訳（メタデータ） (2024-09-26T08:03:19Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• MDM: Advancing Multi-Domain Distribution Matching for Automatic Modulation Recognition Dataset Synthesis [35.07663680944459]
  ディープラーニング技術は、AMR(Automatic Modulation Recognition)タスクにうまく導入されている。 ディープラーニングの成功はすべて、大規模なデータセットのトレーニングによるものだ。 大量のデータの問題を解決するため、一部の研究者はデータ蒸留法を提唱した。
  論文  参考訳（メタデータ） (2024-08-05T14:16:54Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
  人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。 残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。 本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
  論文  参考訳（メタデータ） (2021-09-12T15:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。