論文の概要: JaFIn: Japanese Financial Instruction Dataset

• arxiv url: http://arxiv.org/abs/2404.09260v2
• Date: Sat, 20 Jul 2024 02:27:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 02:01:16.629708
• Title: JaFIn: Japanese Financial Instruction Dataset
• Title（参考訳）: JaFIn:日本の金融インストラクションデータセット
• Authors: Kota Tanabe, Masahiro Suzuki, Hiroki Sakaji, Itsuki Noda,
• Abstract要約: 本研究は,命令チューニングによる領域適応の有効性を実証する。 本研究では,日本語金融分野における大規模言語モデル(LLM)の指導データセットを構築した。 次に、 JaFIn を用いて、複数の LLM に対して命令チューニングを適用し、金融に特化したモデルが元のモデルよりもドメイン適応性が高いことを示す。
• 参考スコア（独自算出の注目度）: 4.805536327976797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We construct an instruction dataset for the large language model (LLM) in the Japanese finance domain. Domain adaptation of language models, including LLMs, is receiving more attention as language models become more popular. This study demonstrates the effectiveness of domain adaptation through instruction tuning. To achieve this, we propose an instruction tuning data in Japanese called JaFIn, the Japanese Financial Instruction Dataset. JaFIn is manually constructed based on multiple data sources, including Japanese government websites, which provide extensive financial knowledge. We then utilize JaFIn to apply instruction tuning for several LLMs, demonstrating that our models specialized in finance have better domain adaptability than the original models. The financial-specialized LLMs created were evaluated using a quantitative Japanese financial benchmark and qualitative response comparisons, showing improved performance over the originals.
• Abstract（参考訳）: 本研究では,日本語金融分野における大規模言語モデル(LLM)の指導データセットを構築した。 LLMを含む言語モデルのドメイン適応は、言語モデルの人気が高まるにつれて、より注目を集めている。 本研究は,命令チューニングによる領域適応の有効性を実証する。 そこで本研究では,日本金融インストラクション・データセットであるJaFInを日本語で指導する。 JaFInは、日本政府のWebサイトを含む複数のデータソースに基づいて手動で構築され、豊富な財務知識を提供する。 次に、 JaFIn を用いて、複数の LLM に対して命令チューニングを適用し、金融に特化したモデルが元のモデルよりもドメイン適応性が高いことを示す。 得られた財務特化LDMは,定量的な日本の財務指標と質的応答比較を用いて評価され,原案よりも性能が向上した。

関連論文リスト

• Enhancing Financial Domain Adaptation of Language Models via Model Augmentation [2.9960693856871545]
  本研究は、金融分野への適応における言語モデル(CALM)の構成の有効性を実証する。 我々は,強力な応答機能を有するLCMの財務性能を向上させるためのCALMを開発した。
  論文  参考訳（メタデータ） (2024-11-14T07:28:09Z)
• SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
  大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。 SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。 SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
  論文  参考訳（メタデータ） (2024-08-05T08:24:24Z)
• Construction of Domain-specified Japanese Large Language Model for Finance through Continual Pre-training [1.4491649618823355]
  本研究は, 継続的な事前学習を通じて, 我が国の金融特化LDMを構築することを目的とする。 ベースモデルとして、日本の金融ベンチマークで最先端のパフォーマンスを達成した日本のLLMを用いた。 チューニングされたモデルは、日本の金融ベンチマークのオリジナルのモデルよりも優れたパフォーマンスを示した。
  論文  参考訳（メタデータ） (2024-04-16T13:26:32Z)
• D\'olares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs Between Spanish and English [67.48541936784501]
  Tois'on de Oro は、英語とのスペイン語共同で、命令データセット、微調整 LLM 、および金融 LLM の評価ベンチマークを確立する最初のフレームワークである。 7つのタスクをカバーする15のデータセットから144万以上のスペイン語と英語のサンプルを含む、厳格にキュレートされたバイリンガル命令データセットを構築した。 FLARE-ESは9つのタスクをカバーする21のデータセットを持つ最初の総合的バイリンガル評価ベンチマークである。
  論文  参考訳（メタデータ） (2024-02-12T04:50:31Z)
• Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
  一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。 1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。 小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
  論文  参考訳（メタデータ） (2024-01-26T11:04:01Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning [74.99318727786337]
  金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。 DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。 複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-23T11:33:41Z)
• From Base to Conversational: Japanese Instruction Dataset and Tuning Large Language Models [6.520584613661788]
  既存のデータセットを拡張・フィルタリングすることで,日本語の命令データセットを構築する。 日本語と英語の両方の既存モデルでローランド適応(LoRA)チューニングを行う。
  論文  参考訳（メタデータ） (2023-09-07T00:14:37Z)
• Improving Domain-Specific Retrieval by NLI Fine-Tuning [64.79760042717822]
  本稿では、自然言語推論(NLI)データの微調整の可能性を調べ、情報検索とランキングを改善する。 コントラスト損失とNLIデータを利用した教師あり手法により細調整された単言語文エンコーダと多言語文エンコーダを併用する。 この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-06T12:40:58Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。