論文の概要: LAET: A Layer-wise Adaptive Ensemble Tuning Framework for Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2511.11315v1
• Date: Fri, 14 Nov 2025 13:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.63948
• Title: LAET: A Layer-wise Adaptive Ensemble Tuning Framework for Pretrained Language Models
• Title（参考訳）: LAET: 事前訓練された言語モデルのためのレイヤワイド適応型アンサンブルチューニングフレームワーク
• Authors: Jawad Ibn Ahad, Muhammad Rafsan Kabir, Robin Krambroeckers, Sifat Momen, Nabeel Mohammed, Shafin Rahman,
• Abstract要約: BloombergGPTやFinMAのような大規模言語モデル(LLM)は、さまざまな財務NLPタスクに対して新しいベンチマークを設定している。 我々は,LLMの最も効果的な層を選択的に微調整する新しい戦略であるLayer-wise Adaptive Ensemble Tuning (LAET)を提案する。 提案手法は,財務NLPタスクにおいて,既存のベンチマークや最先端のLCMよりも優れた結果を示す。
• 参考スコア（独自算出の注目度）: 7.216206616406649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Processing (NLP) has transformed the financial industry, enabling advancements in areas such as textual analysis, risk management, and forecasting. Large language models (LLMs) like BloombergGPT and FinMA have set new benchmarks across various financial NLP tasks, including sentiment analysis, stock movement prediction, and credit risk assessment. Furthermore, FinMA-ES, a bilingual financial LLM, has also demonstrated strong performance using the FLARE and FLARE-ES benchmarks. However, the high computational demands of these models limit the accessibility of many organizations. To address this, we propose Layer-wise Adaptive Ensemble Tuning (LAET), a novel strategy that selectively fine-tunes the most effective layers of pre-trained LLMs by analyzing hidden state representations while freezing less critical layers. LAET significantly reduces computational overhead while enhancing task-specific performance. Our approach shows strong results in financial NLP tasks, outperforming existing benchmarks and state-of-the-art LLMs such as GPT-4, even with smaller LLMs ($\sim$3B parameters). This work bridges cutting-edge financial NLP research and real-world deployment with efficient and scalable models for financial applications.
• Abstract（参考訳）: 自然言語処理(NLP)は金融業界を変革し、テキスト分析、リスク管理、予測といった分野の進歩を可能にしている。 BloombergGPTやFinMAのような大規模言語モデル(LLM)は、感情分析、ストックムーブメント予測、信用リスク評価など、さまざまな財務NLPタスクに対して、新たなベンチマークを設定している。 さらに、FinMA-ESは、FLAREとFLARE-ESベンチマークを用いて、双方向の金融LLMである。 しかし、これらのモデルの高い計算要求は、多くの組織のアクセシビリティを制限する。 そこで本研究では,LLMの最も効果的な層を選択的に微調整する手法であるLayer-wise Adaptive Ensemble Tuning (LAET)を提案する。 LAETはタスク固有の性能を高めながら計算オーバーヘッドを大幅に削減する。 提案手法は,より小さなLPM($3B パラメータ)であっても,既存のベンチマークや GPT-4 などの最先端 LLM よりも高い性能を示す。 この作業は、最先端の金融NLP研究と、金融アプリケーションのための効率的でスケーラブルなモデルによる実世界の展開を橋渡しする。

関連論文リスト

• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• FinLoRA: Finetuning Quantized Financial Large Language Models Using Low-Rank Adaptation [13.815905522616838]
  大規模言語モデル(LLM)の微調整は、財務上のタスクにおいて顕著なパフォーマンスを示している。 しかし、FinLLMの微調整はGPUメモリの制約や長い入力シーケンスといった問題を引き起こす。 我々は、低ランク行列分解と量子化技術を利用するFinLLMを微調整するために、量子化低ランク適応(QLoRA)を用いる。
  論文  参考訳（メタデータ） (2024-12-16T02:05:49Z)
• BreakGPT: Leveraging Large Language Models for Predicting Asset Price Surges [55.2480439325792]
  本稿では,時系列予測や資産価格の急上昇の予測に特化して,新たな大規模言語モデル(LLM)アーキテクチャであるBreakGPTを紹介する。 我々は、最小限のトレーニングで財務予測を行うための有望なソリューションとしてBreakGPTを紹介し、局所的およびグローバルな時間的依存関係をキャプチャする強力な競合相手として紹介する。
  論文  参考訳（メタデータ） (2024-11-09T05:40:32Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis [0.0]
  我々は、財務分野のデータセット上で、コンテキスト内学習と微調整LDMの2つのアプローチを採用する。 以上の結果から, 微調整された小型LCMは, 最先端の微調整LDMに匹敵する性能を達成できることが示唆された。 文脈内学習におけるショット数が増加すると、財務領域の感情分析のパフォーマンスが向上することはない。
  論文  参考訳（メタデータ） (2023-12-14T08:13:28Z)
• Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models [11.154814189699735]
  大規模な言語モデル (LLM) は様々なNLPタスクにおいて優れた性能を示した。 本稿では,金融感情分析のためのLLMフレームワークを提案する。 提案手法の精度は15%から48%向上し,F1得点を得た。
  論文  参考訳（メタデータ） (2023-10-06T05:40:23Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。