論文の概要: EnsemW2S: Can an Ensemble of LLMs be Leveraged to Obtain a Stronger LLM?

• arxiv url: http://arxiv.org/abs/2410.04571v1
• Date: Sun, 06 Oct 2024 18:06:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:10:54.924969
• Title: EnsemW2S: Can an Ensemble of LLMs be Leveraged to Obtain a Stronger LLM?
• Title（参考訳）: EnsemW2S: LLMのアンサンブルは、より強力なLLMを達成できるのか?
• Authors: Aakriti Agrawal, Mucong Ding, Zora Che, Chenghao Deng, Anirudh Satheesh, John Langford, Furong Huang,
• Abstract要約: 弱強(w2s)一般化に対する革新的アプローチを提案する。 より単純なタスクで訓練された弱いモデルは、より複雑なタスクでより強力なモデルを協調的に監督することを示します。 既存のベースラインよりも最大14%向上し、バイナリ分類および生成タスクでは平均5%と4%改善した。
• 参考スコア（独自算出の注目度）: 28.43206274079919
• License:
• Abstract: How can we harness the collective capabilities of multiple Large Language Models (LLMs) to create an even more powerful model? This question forms the foundation of our research, where we propose an innovative approach to weak-to-strong (w2s) generalization-a critical problem in AI alignment. Our work introduces an easy-to-hard (e2h) framework for studying the feasibility of w2s generalization, where weak models trained on simpler tasks collaboratively supervise stronger models on more complex tasks. This setup mirrors real-world challenges, where direct human supervision is limited. To achieve this, we develop a novel AdaBoost-inspired ensemble method, demonstrating that an ensemble of weak supervisors can enhance the performance of stronger LLMs across classification and generative tasks on difficult QA datasets. In several cases, our ensemble approach matches the performance of models trained on ground-truth data, establishing a new benchmark for w2s generalization. We observe an improvement of up to 14% over existing baselines and average improvements of 5% and 4% for binary classification and generative tasks, respectively. This research points to a promising direction for enhancing AI through collective supervision, especially in scenarios where labeled data is sparse or insufficient.
• Abstract（参考訳）: 複数の大規模言語モデル(LLM)の集合的機能を利用して、さらに強力なモデルを構築するにはどうすればよいのか? この疑問が我々の研究の基盤となり、AIアライメントにおける弱点である弱強(w2s)一般化に対する革新的なアプローチを提案する。 我々の研究は、より単純なタスクで訓練された弱いモデルがより複雑なタスクでより強力なモデルを協調的に監督するw2s一般化の実現可能性を研究するための、容易でハードな(e2h)フレームワークを導入している。 このセットアップは、人間の直接の監督が制限される現実世界の課題を反映している。 そこで我々は,AdaBoostにインスパイアされた新しいアンサンブル法を開発し,弱いスーパーバイザーのアンサンブルが,難しいQAデータセット上での分類や生成タスクにまたがる強力なLDMの性能を向上させることを実証した。 いくつかのケースにおいて、我々のアンサンブルアプローチは、地上データに基づいて訓練されたモデルの性能と一致し、w2sの一般化のための新しいベンチマークを確立した。 既存のベースラインよりも最大14%向上し,バイナリ分類と生成タスクでは平均5%,平均4%改善した。 この研究は、特にラベル付きデータが希少で不十分なシナリオにおいて、集団的な監督を通じてAIを強化するための有望な方向性を示している。

関連論文リスト

• Weak-to-Strong Reasoning [33.20094938292376]
  我々は、強力なモデルを自律的に訓練データを洗練させるプログレッシブラーニングフレームワークを導入する。 3つの弱いモデルを用いてLlama2-70bの推論能力を大幅に向上させる。 この作業は、AI推論能力を強化するための、よりスケーラブルで洗練された戦略の道を開くものだ。
  論文  参考訳（メタデータ） (2024-07-18T16:25:17Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• A General Framework for Learning from Weak Supervision [93.89870459388185]
  本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。 GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。 また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-02T21:48:50Z)
• Improving Weak-to-Strong Generalization with Scalable Oversight and Ensemble Learning [21.401598876308345]
  本稿では,OpenAI の Wak-to-Strong Generalization (W2SG) に関する最近のスーパーアライメント研究について報告する。 Superalignmentは、複雑でリスクの高いタスクを扱う際に、ハイレベルなAIシステムが人間の価値観や意図と一貫していることを保証することに重点を置いている。 本研究は,W2SGフレームワーク下での2つのスーパーアライメントの位相をシミュレートする。
  論文  参考訳（メタデータ） (2024-02-01T15:30:19Z)
• Improving Generalization of Alignment with Human Preferences through Group Invariant Learning [56.19242260613749]
  Reinforcement Learning from Human Feedback (RLHF) は、人間の好みに合わせた反応の生成を可能にする。 以前の研究は、強化学習(RL)がしばしばショートカットを利用して高い報酬を獲得し、挑戦的なサンプルを見落としていることを示している。 本稿では,複数のデータグループやドメインにまたがる一貫したポリシをRLで学習する,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-18T13:54:15Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Leveraging World Model Disentanglement in Value-Based Multi-Agent Reinforcement Learning [18.651307543537655]
  本稿では,Distangled World Modelを用いた新しいモデルベースマルチエージェント強化学習手法であるValue Decomposition Frameworkを提案する。 本研究では,本手法が高サンプリング効率を実現し,敵軍を撃破する性能が他のベースラインよりも優れていることを示すために,簡単な,ハード,スーパーハードのStarCraft IIマイクロマネジメントの課題について実験的に検討した。
  論文  参考訳（メタデータ） (2023-09-08T22:12:43Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。