論文の概要: Efficient Multi-Agent System Training with Data Influence-Oriented Tree Search

• arxiv url: http://arxiv.org/abs/2502.00955v1
• Date: Sun, 02 Feb 2025 23:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:26.193569
• Title: Efficient Multi-Agent System Training with Data Influence-Oriented Tree Search
• Title（参考訳）: データインフルエント木探索による効率的なマルチエージェントシステムの学習
• Authors: Wentao Shi, Zichun Yu, Fuli Feng, Xiangnan He, Chenyan Xiong,
• Abstract要約: 木探索とデータ選択の両方をガイドするデータインフルエンス指向木探索(DITS)を提案する。 インフルエンススコアを活用することで、システム改善のための最も影響力のあるデータを効果的に特定する。 非微分不可能な指標に適した影響スコア推定法を導出する。
• 参考スコア（独自算出の注目度）: 59.75749613951193
• License:
• Abstract: Monte Carlo Tree Search (MCTS) based methods provide promising approaches for generating synthetic data to enhance the self-training of Large Language Model (LLM) based multi-agent systems (MAS). These methods leverage Q-values to estimate individual agent contributions. However, relying solely on Q-values to identify informative data may misalign with the data synthesis objective, as the focus should be on selecting data that best enhances model training. To address this discrepancy, we propose Data Influence-oriented Tree Search (DITS), a novel framework that incorporates influence scores to guide both tree search and data selection. By leveraging influence scores, we effectively identify the most impactful data for system improvement, thereby enhancing model performance. Furthermore, we derive influence score estimation methods tailored for non-differentiable metrics, significantly reducing computational overhead by utilizing inference computations. Extensive experiments on eight multi-agent datasets demonstrate the robustness and effectiveness of the proposed methods. Notably, our findings reveal that allocating more inference resources to estimate influence scores, rather than Q-values, during data synthesis can more effectively and efficiently enhance model training.
• Abstract（参考訳）: Monte Carlo Tree Search (MCTS) に基づく手法は,Large Language Model (LLM) ベースのマルチエージェントシステム (MAS) の自己学習を強化するために,合成データを生成するための有望なアプローチを提供する。 これらの手法はQ値を利用して個々のエージェントのコントリビューションを推定する。 しかし、情報的データを特定するためにQ値のみに頼ることは、データ合成の目的に反する可能性がある。 この相違に対処するために、木探索とデータ選択の両方をガイドする影響スコアを組み込んだ新しいフレームワークであるデータインフルエンス指向ツリーサーチ(DITS)を提案する。 インフルエンススコアを利用することで、システム改善のための最も影響力のあるデータを効果的に識別し、モデル性能を向上させる。 さらに、非微分不可能な指標に適した影響スコア推定法を導出し、推論計算を利用することで計算オーバーヘッドを大幅に削減する。 8つのマルチエージェントデータセットに対する大規模な実験により,提案手法の堅牢性と有効性を示す。 特に本研究では,データ合成において,Q値よりも影響スコアを推定するために,推論資源を割り当てることにより,モデルトレーニングをより効果的かつ効率的に行うことができることを明らかにした。

関連論文リスト

• Data-Efficient Pretraining with Group-Level Data Influence Modeling [49.18903821780051]
  グループレベルデータ影響モデリング(Group-MATES)は、新しいデータ効率事前学習手法である。 Group-MATESは、事前学習モデルをデータセットで局所的に探索することで、オラクルグループレベルの影響を収集する。 その後、関係データの影響モデルを微調整し、個々の影響の相関重み付けとしてオラクルを近似する。
  論文  参考訳（メタデータ） (2025-02-20T16:34:46Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
  本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。 収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
  論文  参考訳（メタデータ） (2024-10-22T00:11:41Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• C-XGBoost: A tree boosting model for causal effect estimation [8.246161706153805]
  因果効果推定は、平均処理効果と、治療の条件平均処理効果を、利用可能なデータから得られる結果に推定することを目的としている。 本稿では,C-XGBoost という新たな因果推論モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-31T17:43:37Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• Improving Data Quality with Training Dynamics of Gradient Boosting Decision Trees [1.5605040219256345]
  そこで本研究では,GBDT(Gradient Boosting Decision Trees)のトレーニングダイナミクスを指標として,各トレーニング例の振る舞いを評価する手法を提案する。 提案手法を応用した業界事例では, 秩序なデータセットにおけるノイズラベルの検出, 合成および実際の公開データセットにおけるモデルのメトリクスの改善, および, 提案手法に基づくモデル展開の事例について述べる。
  論文  参考訳（メタデータ） (2022-10-20T15:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。