論文の概要: Ensemble Learning for Large Language Models in Text and Code Generation: A Survey

• arxiv url: http://arxiv.org/abs/2503.13505v1
• Date: Thu, 13 Mar 2025 18:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:18:25.400496
• Title: Ensemble Learning for Large Language Models in Text and Code Generation: A Survey
• Title（参考訳）: テキストとコード生成における大規模言語モデルのアンサンブル学習
• Authors: Mari Ashiga, Wei Jie, Fan Wu, Vardan Voskanyan, Fateme Dinmohammadi, Paul Brookes, Jingzhi Gong, Zheng Wang,
• Abstract要約: より広範なアプリケーションに対して、強力なパフォーマンスとポテンシャルを示す4つの方法とモデルに焦点を当てます。 これには多様性の表現性の向上、出力品質の向上、アプリケーションの柔軟性の向上などが含まれる。
• 参考スコア（独自算出の注目度）: 6.041894045506043
• License:
• Abstract: Generative pretrained transformers (GPT) are the common large language models (LLMs) used for generating text from natural language inputs. However, the fixed properties of language parameters in individual LLMs can lead to inconsistencies in the generated outputs. This limitation also restricts the models' ability to represent diverse language patterns due to inherent biases. Moreover, many powerful LLMs are closed-source. This prevents organizations from integrating their data into these systems, raising concerns about data privacy and limiting industry applications. Inspired by the successful application of LLM ensemble models in text generation, recent literature has also investigated their potential in code generation. This article reviews these emerging LLM ensemble approaches. Our goal is to enhance readers' understanding of existing techniques and encourage further research and practical implementation, aiming to expand the real-world applications of LLM ensemble models in both text and code generation. We categorize these approaches into seven main methods: weight merging, knowledge fusion, mixture of experts, reward ensemble, output ensemble, routing, and cascading. From this list, we focus on four methods and models that show strong performance and potential for broader applications. We analyze their modeling steps, training methods, and output features to provide a clear understanding of their capabilities. Our findings highlight the benefits of LLM ensemble techniques. These include better representation of diversity, improved output quality, and greater flexibility in applications. This information offers valuable insights for selecting models for various real-world tasks involving text and code generation, and potentially applying methods to multimodal LLMs.
• Abstract（参考訳）: GPT(Generative Pretrained Transformer)は、自然言語入力からテキストを生成するために使われる一般的な大規模言語モデル(LLM)である。 しかし、個々のLLMにおける言語パラメータの固定特性は、生成された出力の不整合を引き起こす可能性がある。 この制限はまた、モデルが固有のバイアスのために多様な言語パターンを表現する能力を制限する。 さらに、多くの強力なLCMはクローズドソースである。 これにより、企業はこれらのシステムにデータを統合することができなくなり、データのプライバシや業界アプリケーションを制限する懸念が高まる。 テキスト生成におけるLLMアンサンブルモデルの成功に触発された最近の文献は、コード生成におけるその可能性についても調査している。 この記事では、これらの新興LLMアンサンブルアプローチについてレビューする。 我々の目標は,既存の技術に対する読者の理解を深め,さらに研究・実践的な実装を促進することであり,テキストとコード生成の両方において,LLMアンサンブルモデルの現実的な応用を拡大することである。 これらの手法は, 重み付け, 知識融合, エキスパートの混合, 報酬アンサンブル, 出力アンサンブル, ルーティング, カスケードの7つの主要な手法に分類する。 このリストから、より広範なアプリケーションに対して強力なパフォーマンスとポテンシャルを示す4つの方法とモデルに焦点を当てる。 モデリングステップ、トレーニングメソッド、出力機能を分析して、それらの機能を明確に理解する。 本研究は,LLMアンサンブル法の利点を浮き彫りにした。 これには多様性の表現性の向上、出力品質の向上、アプリケーションの柔軟性の向上などが含まれる。 この情報は、テキストとコード生成を含む様々な現実世界のタスクのモデルの選択や、マルチモーダルLLMへのメソッドの適用について、貴重な洞察を提供する。

関連論文リスト

• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Survey of different Large Language Model Architectures: Trends, Benchmarks, and Challenges [15.850548556536538]
  大規模言語モデル(LLMs)は、自然言語の理解に精通したディープラーニングモデルのクラスである。 これらのモデルの先進的なサブセットであるMultimodal Large Language Models (MLLM)は、複数のデータモダリティを処理および解釈するためにLLM機能を拡張している。 本調査は,LLMの最近の進歩を概観する。
  論文  参考訳（メタデータ） (2024-12-04T11:14:06Z)
• ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning [72.90823351726374]
  我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。 また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。 フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
  論文  参考訳（メタデータ） (2024-08-06T18:53:54Z)
• UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
  MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。 既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。 大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
  論文  参考訳（メタデータ） (2024-07-23T03:58:08Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。