論文の概要: Improving Model Alignment Through Collective Intelligence of Open-Source LLMS

• arxiv url: http://arxiv.org/abs/2505.03059v1
• Date: Mon, 05 May 2025 22:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.143053
• Title: Improving Model Alignment Through Collective Intelligence of Open-Source LLMS
• Title（参考訳）: オープンソースLLMSの集合的インテリジェンスによるモデルアライメントの改善
• Authors: Junlin Wang, Roy Xie, Shang Zhu, Jue Wang, Ben Athiwaratkun, Bhuwan Dhingra, Shuaiwen Leon Song, Ce Zhang, James Zou,
• Abstract要約: モデルアライメントのための高品質なデータを提供するために,様々な言語モデルの集合的強みを活用するMOAAを導入する。 その結果,アリーナ・ハードでは19.5から48.3,アルパカ・エスバル2では22.33から57.23に,LLaMA-3.1-8B-インストラクトでは勝利率を向上させることができた。
• 参考スコア（独自算出の注目度）: 34.23134719050941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building helpful and harmless large language models (LLMs) requires effective model alignment approach based on human instructions and feedback, which necessitates high-quality human-labeled data. Constructing such datasets is often expensive and hard to scale, and may face potential limitations on diversity and generalization. To address these challenges, we introduce Mixture of Agents Alignment (MoAA), that leverages the collective strengths of various language models to provide high-quality data for model alignment. By employing MoAA, we enhance both supervised fine-tuning and preference optimization, leading to improved performance compared to using a single model alone to generate alignment data (e.g. using GPT-4o alone). Evaluation results show that our approach can improve win rate of LLaMA-3.1-8B-Instruct from 19.5 to 48.3 on Arena-Hard and from 22.33 to 57.23 on AlpacaEval2, highlighting a promising direction for model alignment through this new scalable and diverse synthetic data recipe. Furthermore, we demonstrate that MoAA enables a self-improvement pipeline, where models finetuned on MoA-generated data surpass their own initial capabilities, providing evidence that our approach can push the frontier of open-source LLMs without reliance on stronger external supervision. Data and code will be released.
• Abstract（参考訳）: 有用な無害な大規模言語モデル(LLM)を構築するには、人間の指示とフィードバックに基づく効果的なモデルアライメントアプローチが必要である。 このようなデータセットの構築は、しばしば高価でスケールが難しいため、多様性と一般化の潜在的な制限に直面している可能性がある。 これらの課題に対処するために、様々な言語モデルの集合的強みを活用して、モデルアライメントのための高品質なデータを提供するMixture of Agents Alignment(MoAA)を導入する。 MoAAを用いることで、教師付き微調整と選好最適化の両方を強化し、単一のモデルだけでアライメントデータを生成する(例えば、GPT-4oのみを使用する)のに比べて性能が向上した。 評価結果から,Arena-Hardでは19.5から48.3,AlpacaEval2では22.33から57.23までのLLaMA-3.1-8B-インストラクションの勝利率の向上が期待できる。 さらに、MoAAは、MoA生成データに微調整されたモデルが、自身の初期能力を上回る自己改善パイプラインを可能にすることを実証し、我々のアプローチが、より強力な外部監視に頼ることなく、オープンソースLLMのフロンティアを推し進めることができることを示す。 データとコードはリリースされる。

関連論文リスト

• Anyprefer: An Agentic Framework for Preference Data Synthesis [62.3856754548222]
  ターゲットモデルを調整するための高品質な嗜好データを合成するフレームワークであるAnypreferを提案する。 審査員モデルの応答を正確に評価するために、外部ツールが導入される。 合成されたデータは、58Kの高品質な選好ペアからなる新しい選好データセットであるAnyprefer-V1にコンパイルされる。
  論文  参考訳（メタデータ） (2025-04-27T15:21:59Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• BARE: Combining Base and Instruction-Tuned Language Models for Better Synthetic Data Generation [71.46236155101032]
  本研究では,ベースモデルの多様性とインストラクション学習モデルの品質を組み合わせた合成データ生成手法であるBase-Refineを提案する。 BARE生成データによる微調整は, GSM8Kの命令のみのデータよりも101%, RAFTのSOTA法より18.4%向上することを示す。
  論文  参考訳（メタデータ） (2025-02-03T00:12:40Z)
• Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures [15.645254436094055]
  フェデレートラーニング(FL)は、データ共有なしで大規模言語モデルの協調的な微調整を可能にする。 データ駆動の異種モデルアーキテクチャを実現する軽量なパーソナライズFLフレームワークであるFedAMoLEを提案する。 実験によると、FedAMoLEは既存の手法に比べて平均5.14%精度が向上している。
  論文  参考訳（メタデータ） (2024-11-28T13:20:38Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Advancing Large Language Model Attribution through Self-Improving [32.77250400438304]
  大規模言語モデル(LLM)の帰属能力向上のためのフレームワークSTARTを提案する。 STARTは、サンプリングされた応答から構築されたきめ細かい選好監視信号を反復的に利用し、堅牢で包括的で帰属可能な生成を促進する。 ロングフォームQAとマルチステップ推論をカバーする3つのオープンドメイン質問回答データセットの実験は、平均25.13%のパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-10-17T07:55:33Z)
• UICoder: Finetuning Large Language Models to Generate User Interface Code through Automated Feedback [21.858896845159208]
  大規模言語モデル(LLM)は、視覚的に関連する設計をコンパイルし、生成するUIコードを生成するのに苦労する。 生成を改善するための既存のアプローチは、高価な人間のフィードバックやプロプライエタリなモデルを蒸留することに依存している。 提案手法は,既存のLLMから始まり,大規模合成データセットを自己生成することにより,改良されたモデルを反復的に生成する。
  論文  参考訳（メタデータ） (2024-06-11T21:53:46Z)
• Aligning Large Language Models through Synthetic Feedback [43.84431341195111]
  本研究では,ヒトのアノテーションに依存しない合成フィードバックを用いたアライメント学習フレームワークを提案する。 人間の評価では,我々のモデルはアルパカとドリー-v2にそれぞれ55.0%,58.5%が好まれる。
  論文  参考訳（メタデータ） (2023-05-23T06:41:16Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。