論文の概要: SPARTA ALIGNMENT: Collectively Aligning Multiple Language Models through Combat

• arxiv url: http://arxiv.org/abs/2506.04721v1
• Date: Thu, 05 Jun 2025 07:51:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.592391
• Title: SPARTA ALIGNMENT: Collectively Aligning Multiple Language Models through Combat
• Title（参考訳）: SPARTA ALIGNMENT:Combatによる複数言語モデルの集合的アライメント
• Authors: Yuru Jiang, Wenxuan Ding, Shangbin Feng, Greg Durrett, Yulia Tsvetkov,
• Abstract要約: SPARTA ALIGNMENT(SPARTA ALIGNMENT)を提案する。 各イテレーションにおいて、1つの命令と2つのモデルがデュエルのために選択され、他のモデルが2つのレスポンスを評価し、それらの評価スコアは、適応されたエロランクベースの評価システムを介して集約される。 ピア評価された戦闘結果は、敗戦よりも勝利の反応が優先される選好ペアとなり、各イテレーションの最後にこれらの選好からすべてのモデルが学習される。
• 参考スコア（独自算出の注目度）: 73.529925653031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose SPARTA ALIGNMENT, an algorithm to collectively align multiple LLMs through competition and combat. To complement a single model's lack of diversity in generation and biases in evaluation, multiple LLMs form a "sparta tribe" to compete against each other in fulfilling instructions while serving as judges for the competition of others. For each iteration, one instruction and two models are selected for a duel, the other models evaluate the two responses, and their evaluation scores are aggregated through a adapted elo-ranking based reputation system, where winners/losers of combat gain/lose weight in evaluating others. The peer-evaluated combat results then become preference pairs where the winning response is preferred over the losing one, and all models learn from these preferences at the end of each iteration. SPARTA ALIGNMENT enables the self-evolution of multiple LLMs in an iterative and collective competition process. Extensive experiments demonstrate that SPARTA ALIGNMENT outperforms initial models and 4 self-alignment baselines across 10 out of 12 tasks and datasets with 7.0% average improvement. Further analysis reveals that SPARTA ALIGNMENT generalizes more effectively to unseen tasks and leverages the expertise diversity of participating models to produce more logical, direct and informative outputs.
• Abstract（参考訳）: SPARTA ALIGNMENT(SPARTA ALIGNMENT)を提案する。 単一モデルの世代における多様性の欠如と評価におけるバイアスを補うため、複数のLSMは「スパルタ族」を形成し、他のモデルの競争の審査員を務めながら指示を遂行する。 各イテレーションにおいて、1つの命令と2つのモデルが決闘のために選択され、他のモデルが2つの反応を評価し、それらの評価スコアは、他の評価において、戦闘ゲイン/ロース重みの勝者/ロザーが入賞する、適応された評価システムを介して集約される。 ピア評価された戦闘結果は、敗戦よりも勝利の反応が優先される選好ペアとなり、各イテレーションの最後にこれらの選好からすべてのモデルが学習される。 SPARTA ALIGNMENT は反復的かつ集団的な競争プロセスにおいて複数の LLM の自己進化を可能にする。 大規模な実験によると、SPARTA ALIGNMENTは、12タスク中10タスクとデータセットの平均改善率7.0%で、初期モデルと4つの自己調整ベースラインを上回っている。 さらなる分析により、SPARTA ALIGNMENTは未確認タスクをより効果的に一般化し、参加モデルの専門的な多様性を活用してより論理的で直接的で情報的なアウトプットを生成することが明らかになった。

関連論文リスト

• Towards Large Language Models that Benefit for All: Benchmarking Group Fairness in Reward Models [16.977176752570617]
  大規模言語モデル(LLM)は、ますます強力で、人間のユーザにとってアクセスしやすくなっている。 多様な人口集団、すなわちグループフェアネスの公平性を保証することは、批判的な倫理的関心事である。 この研究は、学習した報酬モデルのグループフェアネスをベンチマークする。
  論文  参考訳（メタデータ） (2025-03-10T19:39:39Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Language Model Council: Democratically Benchmarking Foundation Models on Highly Subjective Tasks [3.58262772907022]
  言語モデル協議会(LMC: Language Model Council)では、LLMのグループが協力してテストを作成し、それに反応し、相互の反応を評価して、民主的な方法でランキングを作成する。 感情的インテリジェンスに関する詳細なケーススタディでは、対人対立に対するオープン・エンド・レスポンスにおいて、20の最近のLCMを相互にランク付けするために配置する。 以上の結果から, LMCは, より分離性が高く, より堅牢なランキングを作成でき, ユーザスタディにより, 個々のLCM審査員よりも人的評価に整合性があることが示唆された。
  論文  参考訳（メタデータ） (2024-06-12T19:05:43Z)
• Auto-Arena: Automating LLM Evaluations with Agent Peer Battles and Committee Discussions [77.66677127535222]
  Auto-ArenaはLLMエージェントを使用した評価プロセス全体を自動化した革新的なフレームワークである。 我々の実験では、Auto-Arenaは92.14%の相関関係を示し、以前の専門家が注釈付けしたベンチマークをすべて上回っている。
  論文  参考訳（メタデータ） (2024-05-30T17:19:19Z)
• Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models [69.51130760097818]
  本研究では,報奨誘導型ルーティング手法であるZooterを提案する。 さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
  論文  参考訳（メタデータ） (2023-11-15T04:40:43Z)
• PRD: Peer Rank and Discussion Improve Large Language Model based Evaluations [10.709365940160685]
  現代の大規模言語モデル(LLM)は、自動評価と比較が難しい。 本稿では,全ての解答対に対するLLMのペアワイズ選好を考慮に入れたピアランク(PR)アルゴリズムを提案する。 我々のアプローチは高い精度を実現し、人間の判断とよく一致していることがわかりました。
  論文  参考訳（メタデータ） (2023-07-06T04:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。