論文の概要: BoostLLM: Boosting-inspired LLM Fine-tuning for Few-shot Tabular Classification

• arxiv url: http://arxiv.org/abs/2605.06117v1
• Date: Thu, 07 May 2026 12:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.766939
• Title: BoostLLM: Boosting-inspired LLM Fine-tuning for Few-shot Tabular Classification
• Title（参考訳）: BoostLLM: ショットタブラリ分類のためのブースティングインスパイアされたLDMファインタニング
• Authors: Yi-Siang Wang, Kuan-Yu Chen, Yu-Chen Den, Darby Tien-Hao Chang,
• Abstract要約: BoostLLMはパラメータ効率の良い微調整を多ラウンド残差最適化プロセスに変換するフレームワークである。 BoostLLMは、複数のLLMバックボーンとデータセットをまたいだ標準微調整よりも一貫した改善を実現していることを示す。 これらの結果から,LLMファインチューニングの一般的なトレーニング原則として,特に構造化データの低データ化に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 1.5002600992095827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have recently been adapted to tabular prediction by serializing structured features into natural language, but their performance in low-data regimes remains limited compared to gradient-boosted decision trees (GBDTs). In this work, we revisit the boosting paradigm, traditionally associated with tree ensembles, and ask whether it can be applied as a general training principle for LLM fine-tuning. We propose BoostLLM, a framework that transforms parameter-efficient fine-tuning into a multi-round residual optimization process by training sequential PEFT adapters as weak learners. To incorporate tabular inductive bias, BoostLLM integrates decision-tree paths as a second input view alongside raw features; analysis reveals that the path view acts as a structured teacher in early training steps before the model shifts toward feature-driven representations. Empirically, BoostLLM achieves consistent improvements over standard fine-tuning across multiple LLM backbones and datasets, matching or surpassing XGBoost across a wide range of shot counts and outperforming GPT-4o-based methods with a 4B model. We further show that the framework scales: pairing with stronger tree models and extended boosting horizons yields additional gains under appropriate stabilization. These results suggest that boosting can serve as a general training principle for LLM fine-tuning, particularly in low-data regimes for structured data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、構造化された特徴を自然言語にシリアライズすることによって表形式での予測に適応しているが、低データ構造におけるそれらの性能は、勾配型決定木(GBDT)と比較して制限されている。 本研究では,伝統的に樹木のアンサンブルと関連付けられてきたブースティングパラダイムを再考し,LLMファインチューニングの一般的なトレーニング原則として適用できるかどうかを問う。 本稿では,パラメータ効率のよい微調整を,逐次PEFTアダプタを弱い学習者として訓練することにより,複数ラウンドの残差最適化プロセスに変換するフレームワークであるBoostLLMを提案する。 解析により,モデルが特徴駆動表現へ移行する前の早期学習段階において,パスビューが構造化された教師として機能することが明らかとなった。 経験的に、BoostLLMは複数のLLMバックボーンとデータセットをまたいだ標準的な微調整よりも一貫した改善を実現している。 さらに、より強力な木モデルとのペアリングと拡張されたブースティング水平線により、適切な安定化の下でさらなる利得が得られることを示します。 これらの結果から,LLMファインチューニングの一般的なトレーニング原則として,特に構造化データの低データ化に有効であることが示唆された。

関連論文リスト

• Boost Like a (Var)Pro: Trust-Region Gradient Boosting via Variable Projection [0.0]
  textttVPBoostは、分離可能なモデルのトレーニングパラダイムである可変プロジェクションと、2階の弱い学習戦略を融合する。 VPBoostは、勾配に基づくブースティングと比較して、評価指標が改善されたアンサンブルを学習する。
  論文  参考訳（メタデータ） (2026-03-24T19:01:07Z)
• Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
  はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。 この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。 我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2026-01-31T07:40:36Z)
• LLMBoost: Make Large Language Models Stronger with Boosting [45.63712975323876]
  LLMBoostは,LLMのアンサンブル学習のための,新しいアンサンブル微調整フレームワークである。 LLMBoostは、強化パラダイムにヒントを得て、3つの重要なイノベーションを取り入れている。第一に、後継モデルが前任者から隠れた状態にアクセスし、融合することを可能にする、クロスモデルアテンションメカニズムである。 第二に、チェーントレーニングのパラダイムは、徐々に微調整されたモデルとエラー抑制の目標を結び、各モデルが前者の誤予測を正すようにしている。 第三に、ほぼ並列な推論のパラダイム設計パイプラインは、モデル層を層ごとに覆い隠された状態を設計し、単一のモデルデコーディングに近づく推論効率を達成する。
  論文  参考訳（メタデータ） (2025-12-26T07:16:41Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Shadow-FT: Tuning Instruct Model via Training on Paired Base Model [67.20706292627106]
  大規模言語モデル(LLM)は、様々なタスクのさらなる微調整の恩恵を一貫して受けている。 本稿では,対応するベースモデルを活用してインストラクタモデルをチューニングするための新しいシャドウ-FTフレームワークを提案する。 提案するShadow-FTは,追加パラメータを導入せず,実装が容易で,性能が大幅に向上する。
  論文  参考訳（メタデータ） (2025-05-19T05:16:21Z)
• Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping [53.454408491386886]
  自己アライメントのブートストラップは、シングルラウンドアプローチをはるかに上回る。 モデルが継続的に強化した複数ショット機能を活用してゼロまたはワンショットのパフォーマンスを向上するステップ・オン・フィート・チューニング(SOFT)を提案する。 簡単な学習法に基づいて、自己アライメントの性能をさらに向上させるSOFT+を提案する。
  論文  参考訳（メタデータ） (2024-02-12T12:30:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。