論文の概要: LLMBoost: Make Large Language Models Stronger with Boosting

• arxiv url: http://arxiv.org/abs/2512.22309v1
• Date: Fri, 26 Dec 2025 07:16:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:29.985361
• Title: LLMBoost: Make Large Language Models Stronger with Boosting
• Title（参考訳）: LLMBoost: ブースティングによる大規模言語モデルの強化
• Authors: Zehao Chen, Tianxiang Ai, Yifei Li, Gongxun Li, Yuyang Wei, Wang Zhou, Guanghui Li, Bin Yu, Zhijun Chen, Hailong Sun, Fuzhen Zhuang, Jianxin Li, Deqing Wang, Yikun Ban,
• Abstract要約: LLMBoostは,LLMのアンサンブル学習のための,新しいアンサンブル微調整フレームワークである。 LLMBoostは、強化パラダイムにヒントを得て、3つの重要なイノベーションを取り入れている。第一に、後継モデルが前任者から隠れた状態にアクセスし、融合することを可能にする、クロスモデルアテンションメカニズムである。 第二に、チェーントレーニングのパラダイムは、徐々に微調整されたモデルとエラー抑制の目標を結び、各モデルが前者の誤予測を正すようにしている。 第三に、ほぼ並列な推論のパラダイム設計パイプラインは、モデル層を層ごとに覆い隠された状態を設計し、単一のモデルデコーディングに近づく推論効率を達成する。
• 参考スコア（独自算出の注目度）: 45.63712975323876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble learning of LLMs has emerged as a promising alternative to enhance performance, but existing approaches typically treat models as black boxes, combining the inputs or final outputs while overlooking the rich internal representations and interactions across models.In this work, we introduce LLMBoost, a novel ensemble fine-tuning framework that breaks this barrier by explicitly leveraging intermediate states of LLMs. Inspired by the boosting paradigm, LLMBoost incorporates three key innovations. First, a cross-model attention mechanism enables successor models to access and fuse hidden states from predecessors, facilitating hierarchical error correction and knowledge transfer. Second, a chain training paradigm progressively fine-tunes connected models with an error-suppression objective, ensuring that each model rectifies the mispredictions of its predecessor with minimal additional computation. Third, a near-parallel inference paradigm design pipelines hidden states across models layer by layer, achieving inference efficiency approaching single-model decoding. We further establish the theoretical foundations of LLMBoost, proving that sequential integration guarantees monotonic improvements under bounded correction assumptions. Extensive experiments on commonsense reasoning and arithmetic reasoning tasks demonstrate that LLMBoost consistently boosts accuracy while reducing inference latency.
• Abstract（参考訳）: LLMのアンサンブル学習は、性能向上のための有望な代替手段として現れてきたが、既存のアプローチでは、モデル間のリッチな内部表現や相互作用を見越しながら、入力や最終的な出力を組み合わせて、ブラックボックスとしてモデルを扱うのが一般的である。 LLMBoostはブースティングパラダイムにヒントを得て、3つの重要なイノベーションを取り入れている。 第一に、クロスモデルアテンション機構により、後継モデルが前者から隠れた状態にアクセスして融合し、階層的な誤り訂正と知識伝達を容易にする。 第二に、連鎖訓練のパラダイムは、徐々に微調整されたモデルとエラー抑制の目標を結び、各モデルが最小限の追加計算で前者の誤予測を修正できるようにしている。 第三に、ほぼ並列な推論のパラダイム設計パイプラインは、モデル層を層ごとに覆い隠された状態を設計し、単一のモデルデコーディングに近づく推論効率を達成する。 さらに、LLMBoostの理論基盤を確立し、逐次積分が有界補正仮定の下で単調な改善を保証することを証明した。 常識推論と算術推論タスクに関する大規模な実験により、LLMBoostは推論遅延を低減しつつ、常に精度を向上することを示した。

関連論文リスト

• WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
  本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。 また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
  論文  参考訳（メタデータ） (2025-12-02T09:02:20Z)
• Meaningless Tokens, Meaningful Gains: How Activation Shifts Enhance LLM Reasoning [53.35553353785948]
  問合せプロンプトの前に無意味なトークンの長いシーケンスを挿入することで、LCM性能の推論を継続的に強化できるというファズリング観測により、本研究は、この現象を駆動する基盤となるメカニズムを解析する。 その結果,LLM層における活性化の再分配により,大きな活性化が増大するにつれて,ほぼゼロに近い活性化頻度が低下することが判明した。 本稿では,入力シーケンスを変更することなく,アクティベーションを直接修正する軽量な推論時間手法を提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:39:38Z)
• Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment [54.17386822940477]
  PromptLoopはプラグインとプレイの強化学習フレームワークで、遅延フィードバックをステップワイドな即興改善に組み込む。 この設計は、プロンプトベースのアライメントの柔軟性と一般性を維持しながら、拡散RLアプローチと構造的な類似性を実現する。
  論文  参考訳（メタデータ） (2025-10-01T02:18:58Z)
• Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents [55.82787697101274]
  Bifrost-1は、事前訓練されたマルチモーダルLLM(MLLM)と拡散モデルをブリッジする統合フレームワークである。 予め訓練したMLLMと拡散モデルとパッチレベルのCLIPラプタントをシームレスに統合することにより,高忠実度制御可能な画像生成を実現する。 実験の結果,Bifrost-1は視覚的忠実度やマルチモーダル理解の観点から,従来の手法と同等あるいは優れた性能を達成できた。
  論文  参考訳（メタデータ） (2025-08-08T02:38:47Z)
• d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning [31.531278643184656]
  最近の大規模言語モデル(LLM)は、オンライン強化学習(RL)の恩恵を受ける強力な推論能力を示している。 教師付きファインタニング(SFT)とRLの組み合わせにより,事前学習したマスク付きdLLMを推論モデルに適応するフレームワークであるd1を提案する。 d1は最高の性能を示し、最先端のdLLMの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-16T16:08:45Z)
• Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation [8.046705062670096]
  損失のない投機的復号化は、ターゲットとする大言語モデル推論を加速する。 FSPAD (Feature Sampling and partial Alignment Distillation for Lossless Speculative Decoding) を提案する。 我々の実験は、ヴィクナ級数とLLaMA3-インストラクト級数で最大かつ最小のモデルにおいて、欲求と非欲求デコーディングの両方を含む。
  論文  参考訳（メタデータ） (2024-08-28T06:28:01Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。