論文の概要: Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain

• arxiv url: http://arxiv.org/abs/2603.01353v1
• Date: Mon, 02 Mar 2026 01:21:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.641385
• Title: Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain
• Title（参考訳）: ドメイン特化LDMにおける推論改善のための合成指導データセットの構築:日本の金融ドメインを事例として
• Authors: Yuma Okochi, Fabio Milentiansen Sim, Tomoyasu Okada,
• Abstract要約: 本研究では,任意の領域に対して高品質な合成命令データを構築するための一般的な手法を提案する。 約950億のトークンとChain-of-Thought推論トレースを備えた大規模命令データセットを構築した。
• 参考スコア（独自算出の注目度）: 0.1529342790344802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In adapting LLMs to specific domains, achieving both domain expertise and reasoning ability remains an urgent challenge. This study proposes a general method for constructing high-quality synthetic instruction data for any domain, starting from domain-specific vocabulary. As a demonstration, we applied this method to the financial domain and constructed a large-scale instruction dataset totaling approximately 9.5 billion tokens with Chain-of-Thought reasoning traces. Evaluation results confirmed performance improvements over baseline models on financial benchmarks, demonstrating the effectiveness of our approach. We also report findings on the impact of reasoning trace length on performance and its limitations. Lastly, we open-source our models and datasets on https://huggingface.co/nri-ai .
• Abstract（参考訳）: 特定のドメインにLLMを適用する場合、ドメインの専門知識と推論能力の両方を達成することは、依然として緊急の課題である。 本研究では,ドメイン固有語彙から,任意のドメインに対して高品質な合成命令データを構築するための一般的な手法を提案する。 実演として,本手法を金融分野に適用し,約950億のトークンとチェーン・オブ・ソート・ソート(Chain-of-Thought)のトレースを含む大規模命令データセットを構築した。 評価結果から,金融ベンチマークのベースラインモデルよりも性能が向上し,提案手法の有効性が示された。 また, 推理トレース長が性能および限界に及ぼす影響について報告した。 最後に、我々のモデルとデータセットをhttps://huggingface.co/nri-ai でオープンソース化します。

関連論文リスト

• Building Domain-Specific Small Language Models via Guided Data Generation [5.404790079646315]
  大規模言語モデル(LLM)は、幅広い知識集約的なタスクをサポートすることに顕著な成功を収めている。 専門分野においては、分野の専門家をドメイン固有の課題で支援するためにLLMを活用することへの関心が高まっている。 多くのオープンソースモデルは、効果的なドメイン適応とデプロイのために重要な計算資源を必要とする。 小型シードコーパスからガイド付き合成データ生成とボトムアップドメインデータを組み合わせた,低コストでスケーラブルなトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-11-23T07:19:31Z)
• Learn More, Forget Less: A Gradient-Aware Data Selection Approach for LLM [51.21051698747157]
  大規模言語モデル(LLM)の教師付き微調整のための自己適応型勾配対応データ選択手法(GrADS)を提案する。 具体的には、勾配の大きさと統計的分布を利用した自己指導型基準を設計し、モデルの学習プロセスに最も寄与する例を優先する。 GrADSは、医学、法学、金融など様々な分野にまたがる様々なLLMの広範な実験を通じて、大幅な効率性と費用対効果を示してきた。
  論文  参考訳（メタデータ） (2025-11-07T08:34:50Z)
• From Parameters to Performance: A Data-Driven Study on LLM Structure and Development [73.67759647072519]
  大規模言語モデル(LLM)は、様々な領域で大きな成功を収めている。 モデルスケールと能力の急激な成長にもかかわらず、構造構成がパフォーマンスに与える影響に関する体系的なデータ駆動の研究は依然として少ない。 多様なオープンソースLLM構造を含む大規模データセットと,その性能を複数のベンチマークで比較した。
  論文  参考訳（メタデータ） (2025-09-14T12:20:39Z)
• FlowerTune: A Cross-Domain Benchmark for Federated Fine-Tuning of Large Language Models [43.62847972139202]
  大規模言語モデル(LLM)は様々な領域で最先端の成果を上げてきたが、その開発は大量の公開データに依存している。 この研究は、現実世界のアプリケーションのためのプライバシ保護、ドメイン特化LDMの開発の基礎を築いた。
  論文  参考訳（メタデータ） (2025-06-03T14:54:12Z)
• General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
  強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。 本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。 私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
  論文  参考訳（メタデータ） (2025-05-20T17:41:33Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Demystifying Domain-adaptive Post-training for Financial LLMs [87.28855088465197]
  FINDAPは、大規模言語モデルのドメイン適応後トレーニングに関する体系的できめ細かな研究である。 このアプローチは、FinCap、FinRec、FinTrain、FinEvalの4つの重要なコンポーネントで構成されています。 結果として得られるモデルであるLlama-Finは、幅広い財務タスクにわたる最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-01-09T04:26:15Z)
• On Domain-Adaptive Post-Training for Multimodal Large Language Models [78.65220510401045]
  本稿では,MLLMのドメイン適応をポストトレーニングにより体系的に検討する。 データ合成、トレーニングパイプライン、タスク評価に重点を置いています。 バイオメディシン、食品、リモートセンシングなどの高インパクト領域で実験を行う。
  論文  参考訳（メタデータ） (2024-11-29T18:42:28Z)
• Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance [0.32985979395737774]
  本稿では,ドメイン固有タスクのための細調整型大規模言語モデル (LLM) の詳細な解析を行う。 ドメイン固有のケースでは、ターゲットタスクのみを微調整することが、必ずしも最も効果的な戦略ではないことが分かりました。 我々は、Phi-3-Miniのような小さなモデルが、どのようにして最先端の結果が得られるかを実証する。
  論文  参考訳（メタデータ） (2024-10-01T22:35:56Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。