論文の概要: The Avengers: A Simple Recipe for Uniting Smaller Language Models to Challenge Proprietary Giants

• arxiv url: http://arxiv.org/abs/2505.19797v1
• Date: Mon, 26 May 2025 10:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.354712
• Title: The Avengers: A Simple Recipe for Uniting Smaller Language Models to Challenge Proprietary Giants
• Title（参考訳）: Avengers: プロプライエタリな巨人に挑戦するために、より小さな言語モデルを統一するための簡単なレシピ
• Authors: Yiqun Zhang, Hao Li, Chenxu Wang, Linyao Chen, Qiaosheng Zhang, Peng Ye, Shi Feng, Daling Wang, Zhen Wang, Xinrun Wang, Jia Xu, Lei Bai, Wanli Ouyang, Shuyue Hu,
• Abstract要約: 我々は、オープンソースのより小さな言語モデルの集合的インテリジェンスを効果的に活用する簡単なレシピであるAvengersを紹介します。 10のオープンソースモデル(それぞれ7Bパラメータ)により、Avengersは15のデータセットのうち10でGPT-4.1を上回っている。 特に数学タスクでは GPT-4.1 を 18.21% 、コードタスクでは 7.46% で上回っている。
• 参考スコア（独自算出の注目度）: 66.6636608563034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As proprietary giants increasingly dominate the race for ever-larger language models, a pressing question arises for the open-source community: can smaller models remain competitive across a broad range of tasks? In this paper, we present the Avengers--a simple recipe that effectively leverages the collective intelligence of open-source, smaller language models. Our framework is built upon four lightweight operations: (i) embedding: encode queries using a text embedding model; (ii) clustering: group queries based on their semantic similarity; (iii) scoring: scores each model's performance within each cluster; and (iv) voting: improve outputs via repeated sampling and voting. At inference time, each query is embedded and assigned to its nearest cluster. The top-performing model(s) within that cluster are selected to generate the response using the Self-Consistency or its multi-model variant. Remarkably, with 10 open-source models (~7B parameters each), the Avengers collectively outperforms GPT-4.1 on 10 out of 15 datasets (spanning mathematics, code, logic, knowledge, and affective tasks). In particular, it surpasses GPT-4.1 on mathematics tasks by 18.21% and on code tasks by 7.46%. Furthermore, the Avengers delivers superior out-of-distribution generalization, and remains robust across various embedding models, clustering algorithms, ensemble strategies, and values of its sole parameter--the number of clusters. We have open-sourced the code on GitHub: https://github.com/ZhangYiqun018/Avengers
• Abstract（参考訳）: プロプライエタリな巨人たちが、より大規模な言語モデルの競争をますます支配している中、オープンソースコミュニティには、新たな疑問が浮かび上がっている。 本稿では,オープンソースのより小さな言語モデルの集合的インテリジェンスを効果的に活用する簡単なレシピであるAvengersを提案する。 私たちのフレームワークは4つの軽量な操作の上に構築されています。 (i)埋め込み:テキスト埋め込みモデルを用いてクエリをエンコードする。 (ii)クラスタリング: セマンティックな類似性に基づいたグループクエリ。 (三)スコア:各クラスタ内の各モデルのパフォーマンス、及び (iv)投票:繰り返しサンプリングと投票によって出力を改善する。 推論時に、各クエリは埋め込みされ、最も近いクラスタに割り当てられる。 そのクラスタ内のトップパフォーマンスモデルが選択され、セルフ一貫性またはそのマルチモデル変種を使用して応答を生成する。 注目すべきは、10のオープンソースモデル(それぞれ約7Bパラメータ)で、アベンジャーズは15のデータセット(数学、コード、ロジック、知識、感情的なタスク)のうち10のGPT-4.1を総じて上回っていることである。 特に数学タスクでは GPT-4.1 を 18.21% 、コードタスクでは 7.46% で上回っている。 さらに、アベンジャーズはより優れた分布外一般化を提供し、様々な埋め込みモデル、クラスタリングアルゴリズム、アンサンブル戦略、その唯一のパラメータ(クラスタの数)の値に対して頑健である。 https://github.com/ZhangYiqun018/Avengers.com/Avengers.com/

関連論文リスト

• Lazy But Effective: Collaborative Personalized Federated Learning with Heterogeneous Data [15.15596911693489]
  フェデレートラーニング(Federated Learning)では、単一のグローバルモデルが個々のクライアントにとって最高のパフォーマンスを持っていない。 本稿では,計算効率のよい影響近似を用いたパーソナライズド・フェデレーション・ラーニング・フレームワーク(pFedLIA)を提案する。 提案手法は, 合成および実世界の様々な環境における非IID-Lazynessにより, グローバルモデルの性能低下を回復することに成功した。
  論文  参考訳（メタデータ） (2025-05-05T10:26:35Z)
• Cluster Specific Representation Learning [1.6727186769396276]
  広く応用されているにもかかわらず、善の表象の定義は確立されていない。 本稿では,データに固有のクラスタが存在する場合,各クラスタに固有の表現が必要であるという,ダウンストリームに依存しない定式化を提案する。 そこで我々は,クラスタ固有の表現とクラスタ割り当てを共同で学習するメタアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-12-04T16:59:37Z)
• Clustered FedStack: Intermediate Global Models with Bayesian Information Criterion [8.478300563501035]
  本稿では,Stacked Federated Learning(FedStack)フレームワークに基づいた,新しいClustered FedStackフレームワークを提案する。 ローカルクライアントはモデル予測と出力層重み付けをサーバに送信し、堅牢なグローバルモデルを構築します。 このグローバルモデルは、クラスタリングメカニズムを使用して出力層重みに基づいて、ローカルクライアントをクラスタ化する。
  論文  参考訳（メタデータ） (2023-09-20T03:47:53Z)
• Reinforcement Graph Clustering with Unknown Cluster Number [91.4861135742095]
  本稿では,Reinforcement Graph Clusteringと呼ばれる新しいディープグラフクラスタリング手法を提案する。 提案手法では,クラスタ数決定と教師なし表現学習を統一的なフレームワークに統合する。 フィードバック動作を行うために、クラスタリング指向の報酬関数を提案し、同一クラスタの凝集を高め、異なるクラスタを分離する。
  論文  参考訳（メタデータ） (2023-08-13T18:12:28Z)
• ClusterLLM: Large Language Models as a Guide for Text Clustering [45.835625439515]
  本稿では,ChatGPTのような命令調整型大規模言語モデルからのフィードバックを活用する新しいテキストクラスタリングフレームワークであるClusterLLMを紹介する。 ClusterLLMはクラスタリングの品質を継続的に改善し、平均コストはデータセットあたり0.6ドルである。
  論文  参考訳（メタデータ） (2023-05-24T08:24:25Z)
• Hard Regularization to Prevent Deep Online Clustering Collapse without Data Augmentation [65.268245109828]
  オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。 オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。 本稿では,データ拡張を必要としない手法を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:23:26Z)
• Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
  本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。 様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。 このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
  論文  参考訳（メタデータ） (2021-10-15T17:08:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。