論文の概要: Instruction Finetuning LLaMA-3-8B Model Using LoRA for Financial Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2601.10043v1
• Date: Thu, 15 Jan 2026 03:41:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:18.979609
• Title: Instruction Finetuning LLaMA-3-8B Model Using LoRA for Financial Named Entity Recognition
• Title（参考訳）: LoRAを用いたLLaMA-3-8Bモデルによるファイナンシャル名前付きエンティティ認識
• Authors: Zhiming Lian,
• Abstract要約: 本稿では,MetaのLlama 3 8Bを用いて,命令微調整とローランド適応(LoRA)を組み合わせた財務NERに適用する。 1,693文のコーパスを用いて,Qwen3-8B,Baichuan2-7B,T5,BERT-Baseと比較し,マイクロF1スコア0.894を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Particularly, financial named-entity recognition (NER) is one of the many important approaches to translate unformatted reports and news into structured knowledge graphs. However, free, easy-to-use large language models (LLMs) often fail to differentiate organisations as people, or disregard an actual monetary amount entirely. This paper takes Meta's Llama 3 8B and applies it to financial NER by combining instruction fine-tuning and Low-Rank Adaptation (LoRA). Each annotated sentence is converted into an instruction-input-output triple, enabling the model to learn task descriptions while fine-tuning with small low-rank matrices instead of updating all weights. Using a corpus of 1,693 sentences, our method obtains a micro-F1 score of 0.894 compared with Qwen3-8B, Baichuan2-7B, T5, and BERT-Base. We present dataset statistics, describe training hyperparameters, and perform visualizations of entity density, learning curves, and evaluation metrics. Our results show that instruction tuning combined with parameter-efficient fine-tuning enables state-of-the-art performance on domain-sensitive NER.
• Abstract（参考訳）: 特に、金融名義認識(NER)は、非形式的なレポートやニュースを構造化知識グラフに変換するための重要なアプローチの1つである。 しかしながら、自由で使いやすく大規模な言語モデル(LLM)は、しばしば組織を人として区別したり、実際の金銭的金額を完全に無視することができない。 本稿では,MetaのLlama 3 8Bを用いて,命令微調整とローランド適応(LoRA)を組み合わせた財務NERに適用する。 各注釈付き文は命令入力出力三重に変換され、全ての重みを更新する代わりに小さな低ランク行列で微調整しながらタスク記述を学習することができる。 1,693文のコーパスを用いて,Qwen3-8B,Baichuan2-7B,T5,BERT-Baseと比較し,マイクロF1スコア0.894を得る。 データセットの統計データを提示し、ハイパーパラメーターのトレーニングを記述し、エンティティ密度、学習曲線、評価指標の可視化を行う。 提案手法は,パラメータ効率のよい微調整と組み合わせた命令チューニングにより,ドメイン感性NERにおける最先端の性能が向上することを示す。

関連論文リスト

• Comparative Efficiency Analysis of Lightweight Transformer Models: A Multi-Domain Empirical Benchmark for Enterprise NLP Deployment [0.0]
  本研究では、DistilBERT、MiniLM、ALBERTの3種類の軽量トランスフォーマーモデルの比較分析を行った。 精度,精度,リコール,F1スコアを含む精度に基づく測定値を用いて評価を行った。 AlBERTは複数のドメインで最高のタスク固有精度を達成し、MiniLMは推論速度とスループットに優れ、DistilBERTは競争効率を維持しながらタスク間で最も一貫性のある精度を示す。
  論文  参考訳（メタデータ） (2026-01-01T19:05:25Z)
• Fine-Tuning Vision-Language Models for Markdown Conversion of Financial Tables in Malaysian Audited Financial Reports [0.0]
  本稿ではQwen2.5-VL-7Bに基づく微調整視覚言語モデル(VLM)を提案する。 提案手法には,拡大した2,152枚の画像テキストペアをキュレートしたデータセットと,LoRAを用いた教師付き微調整戦略が含まれる。 基準に基づく評価では92.20%の精度と96.53%のTEDSスコアが得られた。
  論文  参考訳（メタデータ） (2025-08-04T04:54:00Z)
• Learning to Rank Chain-of-Thought: Using a Small Model [77.75522308463667]
  本稿では、この課題に対処するために設計された高効率で軽量な検証器であるEORM(Energy Outcome Reward Model)を紹介する。 EORMはエネルギーベースのフレームワークを使用してChain-of-Thought(CoT)ソリューションをランク付けし、単純な結果ラベルだけで誤った推論と正しく区別することを学ぶ。 55Mのパラメータだけで、通常の報酬モデルより127倍以上小さいEORMは、Llama 3 8Bの精度をGSM8kで90.7%、MATHで63.7%に向上させた。
  論文  参考訳（メタデータ） (2025-05-21T01:06:29Z)
• A Comparative Analysis of Instruction Fine-Tuning LLMs for Financial Text Classification [0.8192907805418583]
  大きな言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクにまたがる印象的な機能を示している。 本研究は,財務テキスト分類作業における指導用微調整の有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-04T18:06:36Z)
• Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
  本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。 提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。 実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
  論文  参考訳（メタデータ） (2024-06-17T21:45:48Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• Learning In-context Learning for Named Entity Recognition [54.022036267886214]
  実世界のアプリケーションにおける名前付きエンティティ認識は、エンティティタイプの多様性、新しいエンティティタイプの出現、高品質なアノテーションの欠如に悩まされている。 本稿では,PLMにテキスト内NER機能を効果的に注入可能な,テキスト内学習に基づくNERアプローチを提案する。 提案手法は,テキスト内NER能力をPLMに効果的に注入し,PLM+fine-tuningよりも優れることを示す。
  論文  参考訳（メタデータ） (2023-05-18T15:31:34Z)
• AutoTriggER: Label-Efficient and Robust Named Entity Recognition with Auxiliary Trigger Extraction [54.20039200180071]
  我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。 筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。 AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
  論文  参考訳（メタデータ） (2021-09-10T08:11:56Z)
• Template-Based Named Entity Recognition Using BART [20.330819636161074]
  シーケンス・ツー・シーケンス・フレームワークにおいて,NERを言語モデルランキング問題として扱うテンプレートベースのNER法を提案する。 提案手法は,CoNLL03において92.55%のF1スコアを達成し,微調整したBERT10.88%,15.34%,11.73%のF1スコアをMIT Movie,MIT Restaurant,ATISで達成した。
  論文  参考訳（メタデータ） (2021-06-03T11:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。