論文の概要: Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents

• arxiv url: http://arxiv.org/abs/2601.17829v1
• Date: Sun, 25 Jan 2026 13:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.422865
• Title: Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents
• Title（参考訳）: 関数計算エージェントの合成データにおける言語的および代名詞的多様性
• Authors: Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh,
• Abstract要約: 本稿では,クエリと引数の両方にわたる汎用的な多様性指標を用いて,合成データセットを生成する手法を提案する。 多様性の観点からは、ベースラインよりも優位性を示しながら、同等の正しさを維持しています。 同様のベンチマークに比べてBFCLベンチマークでは7.4%の精度向上を実現しています。
• 参考スコア（独自算出の注目度）: 5.105255387565864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The construction of function calling agents has emerged as a promising avenue for extending model capabilities. A major challenge for this task is obtaining high quality diverse data for training. Prior work emphasizes diversity in functions, invocation patterns, and interaction turns, yet linguistic diversity of requests and coverage of arguments (e.g., \texttt{city\_name}, \texttt{stock\_ticker}) remain underexplored. We propose a method that generates synthetic datasets via optimizing general-purpose diversity metrics across both queries and arguments, without relying on hand-crafted rules or taxonomies, making it robust to different usecases. We demonstrate the effectiveness of our technique via both intrinsic and extrinsic testing, comparing it to SoTA data generation methods. We show a superiority over baselines in terms of diversity, while keeping comparable correctness. Additionally, when used as a training set, the model resulting from our dataset exhibits superior performance compared to analogous models based on the baseline data generation methods in out-of-distribution performance. In particular, we achieve an $7.4\%$ increase in accuracy on the BFCL benchmark compared to similar counterparts.
• Abstract（参考訳）: 関数呼び出しエージェントの構築は、モデル能力を拡張するための有望な道として現れてきた。 このタスクの大きな課題は、トレーニングのための高品質な多様なデータを取得することです。 以前の研究では、関数、呼び出しパターン、相互作用の多様性が強調されていたが、要求の言語的多様性と引数のカバレッジ(例: \texttt{city\_name}, \texttt{stock\_ticker})は未探索のままである。 提案手法は,手作りルールや分類法を使わずに,クエリと引数の両方にわたる汎用的な多様性メトリクスを最適化することで,合成データセットを生成する手法であり,異なるユースケースに対して堅牢である。 本研究では,本手法の有効性について,本手法をSoTAデータ生成法と比較し,本手法の有効性を実証する。 多様性の観点からは、ベースラインよりも優位性を示しながら、同等の正しさを維持しています。 さらに、トレーニングセットとして使用する場合、データセットから得られるモデルは、アウト・オブ・ディストリビューション性能において、ベースラインデータ生成法に基づく類似モデルよりも優れた性能を示す。 特に、BFCLベンチマークでは、同様のベンチマークに比べて7.4\%の精度向上を実現しています。

関連論文リスト

• Measuring Data Diversity for Instruction Tuning: A Systematic Analysis and A Reliable Metric [48.81957145701228]
  サンプルレベルの「ノーベルティ」に基づく新しい多様性指標であるNovellSumを提案する。 シミュレーションデータと実世界のデータの両方の実験により、NovellSumは正確に多様性の変動を捉え、命令調整されたモデルの性能と0.97の相関を達成している。
  論文  参考訳（メタデータ） (2025-02-24T14:20:22Z)
• CorrSynth -- A Correlated Sampling Method for Diverse Dataset Generation from LLMs [5.89889361990138]
  大規模言語モデル(LLM)は、ゼロショットプロンプトと少数ショットプロンプトを使用して、多様なタスクにおいて顕著な性能を示した。 本研究では,下流の課題に対して,学生モデルが訓練されるような,多様性の高いデータセットを生成するという課題に取り組む。 復号時間誘導に基づくアプローチの経路を考慮し、相関したサンプリング戦略を用いて、入力プロンプトにより多様で忠実なデータを生成するCorr Synthを提案する。
  論文  参考訳（メタデータ） (2024-11-13T12:09:23Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)
• Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias [92.41919689753051]
  大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)タスクのためのトレーニングデータジェネレータとして活用されている。 本稿では,多様な属性を持つプロンプトを用いたトレーニングデータ生成について検討する。 属性付きプロンプトは、結果のモデルの性能の観点から、単純なクラス条件プロンプトより優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-28T03:31:31Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Hyperparameter Optimization with Differentiable Metafeatures [5.586191108738563]
  DMFBS(diffariable Metafeature-based Surrogate)と呼ばれるクロスデータセットサロゲートモデルを提案する。 既存のモデルとは対照的に、DMFBS i) は微分可能なメタ機能抽出器を統合し、i) は新規なマルチタスク損失を用いて最適化される。 DMFBSをHPOの3つの大規模メタデータセットの最近のモデルと比較し、平均10%の改善でその性能を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-07T11:06:31Z)
• Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation [14.92157586545743]
  本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
  論文  参考訳（メタデータ） (2021-01-13T09:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。