論文の概要: ZiGong 1.0: A Large Language Model for Financial Credit

• arxiv url: http://arxiv.org/abs/2502.16159v1
• Date: Sat, 22 Feb 2025 09:27:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:57:08.124329
• Title: ZiGong 1.0: A Large Language Model for Financial Credit
• Title（参考訳）: ZiGong 1.0: 金融クレジットのための大規模言語モデル
• Authors: Yu Lei, Zixuan Wang, Chu Liu, Tongyao Wang,
• Abstract要約: 大規模言語モデル (LLM) は様々な自然言語処理 (NLP) タスクにおいて高い性能を示している。 しかし、金融信用評価の応用における効果は、依然として準最適である。 マルチタスク制御による微調整により強化されたMistralベースのモデルであるZiGongを提案する。
• 参考スコア（独自算出の注目度）: 8.49779245416985
• License:
• Abstract: Large Language Models (LLMs) have demonstrated strong performance across various general Natural Language Processing (NLP) tasks. However, their effectiveness in financial credit assessment applications remains suboptimal, primarily due to the specialized financial expertise required for these tasks. To address this limitation, we propose ZiGong, a Mistral-based model enhanced through multi-task supervised fine-tuning. To specifically combat model hallucination in financial contexts, we introduce a novel data pruning methodology. Our approach utilizes a proxy model to score training samples, subsequently combining filtered data with original datasets for model training. This data refinement strategy effectively reduces hallucinations in LLMs while maintaining reliability in downstream financial applications. Experimental results show our method significantly enhances model robustness and prediction accuracy in real-world financial scenarios.
• Abstract（参考訳）: 大規模言語モデル (LLM) は様々な自然言語処理 (NLP) タスクにおいて高い性能を示している。 しかし、金融信用評価の応用におけるそれらの効果は、主にこれらの業務に必要な専門的な財務知識のために、まだ最適以下である。 この制限に対処するため,マルチタスク制御による微調整により拡張されたMistralベースのモデルであるZiGongを提案する。 金融状況下でのモデル幻覚と戦うために,我々は新しいデータ解析手法を導入する。 提案手法では,プロキシモデルを用いてトレーニングサンプルをスコアし,その後にフィルタデータと元のデータセットを組み合わせてモデルトレーニングを行う。 このデータ改質戦略は、下流の金融アプリケーションにおける信頼性を維持しつつ、LLMの幻覚を効果的に低減する。 実験結果から,実世界の金融シナリオにおけるモデルロバスト性と予測精度を著しく向上することが示された。

関連論文リスト

• BreakGPT: Leveraging Large Language Models for Predicting Asset Price Surges [55.2480439325792]
  本稿では,時系列予測や資産価格の急上昇の予測に特化して,新たな大規模言語モデル(LLM)アーキテクチャであるBreakGPTを紹介する。 我々は、最小限のトレーニングで財務予測を行うための有望なソリューションとしてBreakGPTを紹介し、局所的およびグローバルな時間的依存関係をキャプチャする強力な競合相手として紹介する。
  論文  参考訳（メタデータ） (2024-11-09T05:40:32Z)
• A Comparative Analysis of Instruction Fine-Tuning LLMs for Financial Text Classification [0.8192907805418583]
  大きな言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクにまたがる印象的な機能を示している。 本研究は,財務テキスト分類作業における指導用微調整の有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-04T18:06:36Z)
• Large Language Models for Financial Aid in Financial Time-series Forecasting [0.4218593777811082]
  金融支援の時系列予測は、限られた歴史的データセットと高次元財務情報のために困難である。 我々は、従来のアプローチよりも優れた性能を示すために、事前訓練されたLPM(GPT-2をバックボーンとする)、トランスフォーマー、線形モデルなど、最先端の時系列モデルを用いている。
  論文  参考訳（メタデータ） (2024-10-24T12:41:47Z)
• SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
  大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。 SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。 SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
  論文  参考訳（メタデータ） (2024-08-05T08:24:24Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
  一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。 1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。 小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
  論文  参考訳（メタデータ） (2024-01-26T11:04:01Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity Compensation [97.78045712375047]
  大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。 そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。 さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
  論文  参考訳（メタデータ） (2023-12-27T11:49:24Z)
• Is ChatGPT a Financial Expert? Evaluating Language Models on Financial Natural Language Processing [22.754757518792395]
  FinLMEvalは金融言語モデル評価のためのフレームワークである。 本研究では,エンコーダのみの言語モデルとデコーダのみの言語モデルの性能を比較した。
  論文  参考訳（メタデータ） (2023-10-19T11:43:15Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。