論文の概要: THaLLE-ThaiLLM: Domain-Specialized Small LLMs for Finance and Thai -- Technical Report

• arxiv url: http://arxiv.org/abs/2601.04597v1
• Date: Thu, 08 Jan 2026 05:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.043814
• Title: THaLLE-ThaiLLM: Domain-Specialized Small LLMs for Finance and Thai -- Technical Report
• Title（参考訳）: THaLLE-ThaiLLM: 金融とタイのためのドメイン特化小型LLM -- 技術報告
• Authors: KBTG Labs, :, Anuruth Lertpiya, Danupat Khamnuansin, Kantapong Sucharitpongpan, Pornchanan Balee, Tawunrat Chalothorn, Thadpong Pongthawornkamol, Monchai Lertsutthiwong,
• Abstract要約: タイのLLMイニシアチブは、オープンLLMにおけるタイ語の能力を強化することを目的としている。 我々は,高性能多機能LDMを開発するための資源効率の代替手段として,モデルマージについて検討する。
• 参考スコア（独自算出の注目度）: 3.2143959364884362
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated significant potential across various domains, particularly in banking and finance, where they can automate complex tasks and enhance decision-making at scale. Due to privacy, security, and regulatory concerns, organizations often prefer on-premise deployment of LLMs. The ThaiLLM initiative aims to enhance Thai language capabilities in open-LLMs, enabling Thai industry to leverage advanced language models. However, organizations often face a trade-off between deploying multiple specialized models versus the prohibitive expense of training a single multi-capability model. To address this, we explore model merging as a resource-efficient alternative for developing high-performance, multi-capability LLMs. We present results from two key experiments: first, merging Qwen-8B with ThaiLLM-8B demonstrates how ThaiLLM-8B enhances Thai general capabilities, showing an uplift of M3 and M6 O-NET exams over the general instruction-following Qwen-8B. Second, we merge Qwen-8B with both ThaiLLM-8B and THaLLE-CFA-8B. This combination results in further improvements in performance across both general and financial domains, by demonstrating an uplift in both M3 and M6 O-NET, Flare-CFA, and Thai-IC benchmarks. The report showcases the viability of model merging for efficiently creating multi-capability LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、銀行や金融など、様々な分野において、複雑なタスクの自動化や大規模意思決定の強化など、大きな可能性を秘めている。 プライバシ、セキュリティ、規制上の懸念から、組織はLLMのオンプレミス展開を好むことが多い。 タイのLLMイニシアチブは、タイの言語能力をオープンLLMで強化することを目的としており、タイの産業は先進的な言語モデルを活用することができる。 しかし、組織は複数の専門的なモデルをデプロイすることと、単一の多機能モデルをトレーニングすることの禁止的なコストとの間にトレードオフに直面します。 そこで本研究では,モデルマージを,高性能で多機能なLCMを開発するための資源効率の代替手段として検討する。 まず,タイのQwen-8BとタイのLLM-8Bを併用した2つの実験の結果,タイのLLM-8Bがタイの一般性を高めることを示す。 第2に、Qwen-8BとタイLLM-8BとTHaLLE-CFA-8Bを合併する。 この組み合わせにより、M3とM6 O-NET、Frare-CFA、およびThai-ICベンチマークにおいて、一般的なドメインと金融ドメインの両方のパフォーマンスがさらに向上する。 本報告では,マルチキャパビリティ LLM を効率的に作成するためのモデルマージの実現可能性を示す。

関連論文リスト

• The LLM Pro Finance Suite: Multilingual Large Language Models for Financial Applications [4.211847212372977]
  LLM Pro Finance Suite(英語: LLM Pro Finance Suite)は、金融アプリケーション向けに設計された5つの命令調整型大規模言語モデル(LLM)のコレクションである。 提案手法は,命令従順,推論,毒性制御において既存の強みを生かし,汎用的な指導訓練モデルの向上に重点を置いている。 このスイートを総合的な金融ベンチマークスイートで評価し、金融指向タスクと金融翻訳における最先端のベースラインに対する一貫した改善を実証した。
  論文  参考訳（メタデータ） (2025-11-07T11:08:31Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Unlocking Multimodal Mathematical Reasoning via Process Reward Model [48.84458074946185]
  Process Reward Models (PRM) は、大規模言語モデルの数学的推論能力を高めることを約束している。 マルチモーダル数学的推論におけるPRMの可能性を解き明かすための第一歩を踏み出す。 URSAは3段階のUnfolding Multimodal Process-Supervision Aided Trainingフレームワークである。
  論文  参考訳（メタデータ） (2025-01-08T18:49:41Z)
• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  我々は、MLLMのマルチモーダル推論能力を高めるために、選好最適化(PO)プロセスを導入する。 具体的には、自動選好データ構築パイプラインを設計し、高品質で大規模なマルチモーダル推論選好データセットであるMMPRを作成する。 マルチモーダルCoT性能を向上するMPO(Mixed Preference Optimization)と呼ばれるシンプルな手法を開発した。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• Enhancing Financial Domain Adaptation of Language Models via Model Augmentation [2.9960693856871545]
  本研究は、金融分野への適応における言語モデル(CALM)の構成の有効性を実証する。 我々は,強力な応答機能を有するLCMの財務性能を向上させるためのCALMを開発した。
  論文  参考訳（メタデータ） (2024-11-14T07:28:09Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [72.68665884790002]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 本稿では,教師モデルの頑健な表現を視覚的,言語的両面で伝達するために,MDist(Multimodal Distillation)を導入する。 また,提案した蒸留戦略の可能性をフル活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• A Generative Approach to Credit Prediction with Learnable Prompts for Multi-scale Temporal Representation Learning [22.566512469446753]
  FinLangNetは、マルチスケールのシーケンシャルラーニング問題としてクレジットスコアリングを再構成する新しいフレームワークである。 大規模な評価では、FinLangNetはプロダクションXGBoostシステムを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-04-19T17:01:46Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。