論文の概要: MortgageLLM: Domain-Adaptive Pretraining with Residual Instruction Transfer, Alignment Tuning, and Task-Specific Routing

• arxiv url: http://arxiv.org/abs/2511.21101v1
• Date: Wed, 26 Nov 2025 06:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.991878
• Title: MortgageLLM: Domain-Adaptive Pretraining with Residual Instruction Transfer, Alignment Tuning, and Task-Specific Routing
• Title（参考訳）: MortgageLLM: 残差指示伝達によるドメイン適応型事前学習、アライメントチューニング、タスク特化ルーティング
• Authors: Manish Jain, Satheesh Kumar Ponnambalam, Salman Faroz, Chandrakanth Lns, Vinay Sharma,
• Abstract要約: ドメイン固有の新しい大規模言語モデルであるMortgageLLMを提案する。 シングルベースモデルからデュアルトラックの特殊化フレームワークを用いて開発されている。 我々は,(1)高度に専門化された住宅ローン金融分野へのこの残留手法の適用,(2)対話型Q&Aモデルと,分類と要約のための構造化タスクモデルを組み合わせたデュアルエキスパートアーキテクチャ,(3)エキスパートモデル自体が行う少数ショット分類を用いたインテリジェントタスクルーティング機構を提案する。
• 参考スコア（独自算出の注目度）: 0.7367330074083941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) demonstrate exceptional capabilities across general domains, yet their application to specialized sectors such as mortgage finance requires domain-specific knowledge augmentation while preserving instruction-following fidelity. We present MortgageLLM, a novel domain-specific large language model that addresses this dual challenge. It is developed using a dual-track specialization framework from a single base model (LLaMA-3.1-8B). We opted for this dual-expert approach as a single multi-task model suffers from performance trade-offs, where optimizing for structured tasks (via SFT) degrades conversational fidelity (via DPO). Our dual-track method solves this by creating two specialists, allowing each to be optimally trained for its distinct capability. Our approach applies the instruction residual technique to restore instruction-following capabilities post-domain adaptation without supervised fine-tuning. We contribute: (1) application of this residual technique to the highly specialized mortgage finance domain; (2) a dual-expert architecture combining a conversational Q&A model and a structured task model for classification and summarization; and (3) an intelligent task routing mechanism using few-shot classification performed by one of the expert models itself. We validate our approach on domain-specific benchmarks, where our final model (MLM v2) significantly outperforms the base LLaMA-3.1-8B-Instruct, achieving an LLM-as-a-Judge summarization score of 4.58 (vs. 3.99), a Q&A score of 4.09 (vs. 4.0), and a classification score of 2.6 (vs. 1.2). On semantic similarity, our model achieved a BERTScore of 0.77 for summarization (vs. 0.74), 0.68 for Q&A (vs. 0.58), and 0.75 for classification (vs. 0.73), substantially outperforming baseline approaches.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、一般的なドメインにまたがる例外的な能力を示すが、住宅ローン金融などの専門分野への応用には、命令追従の忠実さを維持しながら、ドメイン固有の知識の増強が必要である。 この2つの課題に対処する新しいドメイン固有な大規模言語モデルであるMortgageLLMを提案する。 シングルベースモデル(LLaMA-3.1-8B)からデュアルトラックの特殊化フレームワークを使用して開発されている。 我々は、単一マルチタスクモデルがパフォーマンストレードオフに苦しむため、このデュアルエキスパートアプローチを選択し、(SFT経由)構造化タスクの最適化は(DPO経由)会話の忠実度を低下させる。 両トラック方式では,2つの専門家がそれぞれ異なる能力で最適な訓練を受けられるようにすることで,この問題を解消する。 本手法は命令追従能力の回復に,教師なしの微調整を伴わない指導残差手法を適用した。 我々は,(1)高度に専門化された住宅ローン金融分野へのこの残留手法の適用,(2)対話型Q&Aモデルと,分類と要約のための構造化タスクモデルを組み合わせたデュアルエキスパートアーキテクチャ,(3)エキスパートモデル自体が行う少数ショット分類を用いたインテリジェントタスクルーティング機構を提案する。 LLM-as-a-Judge総和スコアが4.58(vs.399)、Q&Aスコアが4.09(vs.40)、分類スコアが2.6(vs.1.2)である。 意味的類似性について,本モデルは総和和0.77点(vs. 0.74),Q&A0.68点(vs. 0.58点),分類0.75点(vs. 0.73点)を達成した。

関連論文リスト

• DuPO: Enabling Reliable LLM Self-Verification via Dual Preference Optimization [47.32314866162273]
  アノテーションのないフィードバックを生成するデュアルラーニングベースの選好最適化フレームワークであるDuPOを提案する。 具体的には、DuPOはプリミティブタスクの入力を未知のコンポーネントに分解し、その2つのタスクを構築して未知の部分を再構築する。 756方向の平均翻訳品質を2.13 COMETで向上し、3つのベンチマークで平均6.4ポイントの数学的推論精度を向上し、推論時間リランカとしてのパフォーマンスを9.3ポイント向上させる。
  論文  参考訳（メタデータ） (2025-08-20T06:31:18Z)
• Mixture of Reasonings: Teach Large Language Models to Reason with Adaptive Strategies [6.7519234849348075]
  推論の混合は、様々な推論戦略を大きな言語モデルに組み込む。 MoR150はCoTプロンプトで0.730(2.2%改善)、ベースラインで0.734(13.5%改善)を達成した。
  論文  参考訳（メタデータ） (2025-07-01T09:39:04Z)
• Union of Experts: Adapting Hierarchical Routing to Equivalently Decomposed Transformer [7.230514235208748]
  我々は、変圧器モデルを等価な専門家グループに分解するUnion-of-Experts (UoE)を提案する。 言語モデリングタスクでは、最高の性能のMoE法と比較して、UoEはパープレキシティの平均2.38の削減を実現している。 画像分類では、最高のモデルよりも平均精度が1.75%向上する。
  論文  参考訳（メタデータ） (2025-03-04T11:01:25Z)
• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  我々は、MLLMのマルチモーダル推論能力を高めるために、選好最適化(PO)プロセスを導入する。 具体的には、自動選好データ構築パイプラインを設計し、高品質で大規模なマルチモーダル推論選好データセットであるMMPRを作成する。 マルチモーダルCoT性能を向上するMPO(Mixed Preference Optimization)と呼ばれるシンプルな手法を開発した。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
  私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。 パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。 セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-06T03:06:33Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• Large Language Models aren't all that you need [0.0]
  本稿では,SemEval 2023 Task 2: MultiCoNER IIを解くために構築されたアーキテクチャとシステムについて述べる。 a)従来のランダムフィールドモデルと(b)カスタマイズされた頭で微調整されたLarge Language Model(LLM)の2つのアプローチを評価し、その2つのアプローチを比較した。
  論文  参考訳（メタデータ） (2024-01-01T08:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。