論文の概要: SPEAR-MM: Selective Parameter Evaluation and Restoration via Model Merging for Efficient Financial LLM Adaptation

• arxiv url: http://arxiv.org/abs/2511.08500v1
• Date: Wed, 12 Nov 2025 02:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.841224
• Title: SPEAR-MM: Selective Parameter Evaluation and Restoration via Model Merging for Efficient Financial LLM Adaptation
• Title（参考訳）: SPEAR-MM:効率的な金融LLM適応のためのモデルマージによる選択パラメータ評価と復元
• Authors: Berkcan Kapusuzoglu, Supriyo Chakraborty, Renkun Ni, Stephen Rawls, Sambit Sahu,
• Abstract要約: 金融分野に適応した大規模言語モデル(LLM)は、一般的な推論能力の破滅的な忘れ込みに悩まされることが多い。 本稿では,モデルマージ(SPEAR-MM)による選択的評価と復元について紹介する。
• 参考スコア（独自算出の注目度）: 7.761546505292692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) adapted to financial domains often suffer from catastrophic forgetting of general reasoning capabilities essential for customer interactions and complex financial analysis. We introduce Selective Parameter Evaluation and Restoration via Model Merging (SPEAR-MM), a practical framework that preserves critical capabilities while enabling domain adaptation. Our method approximates layer-wise impact on external benchmarks through post-hoc analysis, then selectively freezes or restores transformer layers via spherical interpolation merging. Applied to LLaMA-3.1-8B for financial tasks, SPEAR-MM achieves 91.2% retention of general capabilities versus 69.7% for standard continual pretraining, while maintaining 94% of domain adaptation gains. The approach provides interpretable trade-off control and reduces computational costs by 90% crucial for resource-constrained financial institutions.
• Abstract（参考訳）: 金融分野に適応した大規模言語モデル(LLM)は、顧客との対話や複雑な財務分析に不可欠な一般的な推論能力の破滅的な忘れ込みに悩まされることが多い。 本稿では,モデルマージ(SPEAR-MM)による選択パラメータの評価と復元について紹介する。 提案手法は, 熱後解析により外部ベンチマークに対する層幅の影響を近似し, 球面補間マージにより変圧器層を選択的に凍結または復元する。 金融業務にLLaMA-3.1-8Bを適用すると、SPEAR-MMは91.2%の一般能力を保ち、標準の継続事前訓練では69.7%を達成し、ドメイン適応の94%を維持している。 このアプローチは、解釈可能なトレードオフ制御を提供し、リソース制約の金融機関にとって、計算コストを90%削減する。

関連論文リスト

• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• $φ$-DPO: Fairness Direct Preference Optimization Approach to Continual Learning in Large Multimodal Models [58.217707070069885]
  本稿では,LMMにおける連続学習のためのFairness Direct Preference Optimization (FaiDPO, $-DPO) フレームワークを提案する。 まず,直接選好最適化(DPO)に基づく新たな連続学習パラダイムを提案する。 大規模な実験とアブレーション研究は、提案された$-DPOが複数のベンチマークでステート・オブ・ザ・アートのパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2026-02-26T04:14:33Z)
• Uni-FinLLM: A Unified Multimodal Large Language Model with Modular Task Heads for Micro-Level Stock Prediction and Macro-Level Systemic Risk Assessment [6.015507338546882]
  金融機関や規制機関は、株価変動からシステム的脆弱性へのリスクを評価するために、異種データを統合するシステムを必要としている。 共用トランスフォーマーバックボーンとモジュールタスクヘッドを併用した統合マルチモーダル大言語モデルUni-FinLLMを提案する。
  論文  参考訳（メタデータ） (2026-01-06T03:22:51Z)
• Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
  大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。 本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
  論文  参考訳（メタデータ） (2025-12-23T03:10:09Z)
• CALM Before the STORM: Unlocking Native Reasoning for Optimization Modeling [60.55856973678002]
  大規模推論モデル (LRM) は、複雑な多段階推論において強力な機能を示した。 既存のドメイン適応手法は、元々は命令調整モデル用に設計されていたが、現代のLEMの高度な推論パターンをうまく利用できなかった。 我々は、最適化モデリングタスクのためのネイティブ推論モード内でのLEMを段階的に洗練するフレームワークである textbfCALM を提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:38:31Z)
• Hierarchical Evaluation Function: A Multi-Metric Approach for Optimizing Demand Forecasting Models [0.479839492673697]
  ハイパーパラメータ最適化のためのマルチメトリックフレームワークとして階層評価関数(HEF)を提案する。 HEFは説明力(R2)、過度エラーに対する感度(RMSE)、平均精度(MAE)を統合している。 HEFの性能は予測領域で広く認識されている4つのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2025-08-18T16:25:49Z)
• FinHEAR: Human Expertise and Adaptive Risk-Aware Temporal Reasoning for Financial Decision-Making [58.04602111184477]
  FinHEARは、人間の専門知識と適応的リスク認識推論のためのフレームワークである。 専門のエージェントを編成し、過去の傾向を分析し、現在の出来事を解釈し、専門家にインフォームドされた前例を検索する。 金融データセットの実証的な結果から、FinHEARはトレンド予測やトレーディングタスクにおいて、一貫して強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-06-10T04:06:51Z)
• Speculative Reward Model Boosts Decision Making Ability of LLMs Cost-Effectively [13.40488551654639]
  本稿では,検索戦略の費用対効果を評価するために3E基準を導入する。 本稿では,既存の検索戦略とシームレスに統合するプラグイン・アンド・プレイ・フレームワークであるSpeculative Reward Model (SRM)を提案する。 実験の結果,RMは,有効性を保ちながら,従来の検索フレームワークの1/10までコストを削減できることがわかった。
  論文  参考訳（メタデータ） (2025-05-31T05:32:12Z)
• Modality-Balancing Preference Optimization of Large Multimodal Models by Adversarial Negative Mining [75.14823970163685]
  LMMにおけるモダリティの不均衡に対処するため、新しい選好学習フレームワークMBPOを提案する。 MBPOは、強い負の反応、すなわちLLMバイアスによって誤った反応を生成することによって、より効果的なオフライン嗜好データセットを構築する。 視覚言語課題におけるLMM性能を高め、幻覚を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2025-05-20T03:59:05Z)
• Cache-Efficient Posterior Sampling for Reinforcement Learning with LLM-Derived Priors Across Discrete and Continuous Domains [2.1797343876622097]
  強化学習(RL)の先行する言語モデル(LLM)には大きな利点があるが、かなりの計算コストが伴う。 本稿では,LCMをベースとした後方サンプリングのためのキャッシュ効率向上フレームワークを提案し,性能を向上しつつ,これらのコストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-05-12T06:53:24Z)
• EMAFusion: A Self-Optimizing System for Seamless LLM Selection and Integration [9.019951211182969]
  EMAFusion は LLM の選択とクエリに対する信頼性の高い実行を自己最適化する新しいフレームワークである。 EMAFusionは2.6%以上(94.3%対91.7%)、平均価格より4倍安い。 組み合わせたルーティング手法は、分類基準(88.1%)と学習モデル予測基準(91.7%)に比較して94.3%の精度を提供する。
  論文  参考訳（メタデータ） (2025-04-14T20:04:54Z)
• Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in Self-Refined Open-Source Models [53.859446823312126]
  SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。 厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
  論文  参考訳（メタデータ） (2023-10-11T15:56:00Z)
• Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models [11.154814189699735]
  大規模な言語モデル (LLM) は様々なNLPタスクにおいて優れた性能を示した。 本稿では,金融感情分析のためのLLMフレームワークを提案する。 提案手法の精度は15%から48%向上し,F1得点を得た。
  論文  参考訳（メタデータ） (2023-10-06T05:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。