論文の概要: Instruction Finetuning DeepSeek-R1-8B Model Using LoRA and NEFTune

• arxiv url: http://arxiv.org/abs/2606.10392v1
• Date: Tue, 09 Jun 2026 04:14:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.312872
• Title: Instruction Finetuning DeepSeek-R1-8B Model Using LoRA and NEFTune
• Title（参考訳）: LoRAとNEFTuneを用いたDeepSeek-R1-8Bモデルの構築
• Authors: Wu Yuerong, Mingni Luo,
• Abstract要約: 金融名義認識は、構造化されていない財務報告やニュースを構造化された知識グラフに変換するのに不可欠である。 本稿では,最近のオープンソースの大規模言語モデルであるDeepSeek-R1-8BとLoRA(Lo-Rank Adaptation)とNEFTune(Nuisy Embedding Fine-Tuning)の併用について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Financial named-entity recognition (NER) is essential for translating unstructured financial reports and news into structured knowledge graphs. However, general-purpose large language models (LLMs) often misclassify financial entities or ignore domain-specific patterns. This paper investigates the use of DeepSeek-R1-8B, a recent open-source large language model, combined with Low-Rank Adaptation (LoRA) and Noisy Embedding Fine-Tuning (NEFTune) for financial NER. Each annotated sentence in our corpus of 1693 samples is converted into an instruction-input-output triple. We insert lightweight LoRA matrices into the Transformer layers and apply NEFTune to improve generalisation by adding uniform noise to embedding vectors during training. Experiments show that the LoRA-adapted DeepSeek-R1-8B achieves a micro-F1 of 0.901 on seven entity types (Company, Date, Location, Money, Person, Product and Quantity), and adding NEFTune further boosts the micro-F1 to 0.912, outperforming Llama3-8B, Qwen3-8B, Baichuan2-7B, T5 and BERT-Base baselines.
• Abstract（参考訳）: 金融名義認識(NER)は、構造化されていない財務報告やニュースを構造化知識グラフに変換するのに不可欠である。 しかし、汎用大規模言語モデル(LLM)は金融エンティティを誤って分類したり、ドメイン固有のパターンを無視したりすることが多い。 本稿では,最近のオープンソースの大規模言語モデルであるDeepSeek-R1-8BとLoRA(Lo-Rank Adaptation)とNEFTune(Nuisy Embedding Fine-Tuning)の併用について検討する。 1693サンプルのコーパスの注釈付き文は、それぞれインプット・アウトプット・トリプルに変換される。 トランスフォーマー層に軽量なLoRA行列を挿入し、NEFTuneを適用し、トレーニング中にベクトルの埋め込みに均一なノイズを加えることにより一般化を改善する。 実験の結果、LoRA対応のDeepSeek-R1-8Bは7種類のエンティティタイプ(商品、日時、場所、金、人、物、量)で0.901のマイクロF1を実現し、NEFTuneの追加によりmicro-F1は0.912にさらに増加し、Llama3-8B、Qwen3-8B、Baichuan2-7B、T5、BERTベースラインを上回った。

関連論文リスト

• How Small Can You Go? LoRA Fine-Tuning 270M-8B Models for Merchant Information Extraction in Financial Transactions [1.7133809948345597]
  4つのモデルファミリーにまたがる24種類のモデル変異について、デプロイに焦点を当てた研究を行う。 製造適性を評価するため,精度,スループット,トレーニングコスト,ハードウェア動作を評価する。 正確性とレイテンシの要件を越えたデプロイメントレコメンデーションを提供します。
  論文  参考訳（メタデータ） (2026-06-06T08:32:38Z)
• Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali [0.0]
  ネパール語はラテン文字で書かれたネパール語であり、ネパールにおける非公式なデジタルコミュニケーションの主流となっている。 本研究では、3つの同等サイズのオープンウェイトモデルにまたがる言語適応の系統的ベンチマークを示す。
  論文  参考訳（メタデータ） (2026-03-25T07:02:51Z)
• Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement [1.8429656136522097]
  本稿では,バイナリトークンレベルの分類,言語的特徴の統合,データ拡張を組み合わせた,MWE識別のための包括的アプローチを提案する。 我々のDeBERTa-v3大規模モデルは、CoAMデータセット上で69.8%のF1を達成し、このデータセットで最高の結果(Qwen-72B, 57.8% F1)を12ポイント上回り、パラメータは165倍少ない。
  論文  参考訳（メタデータ） (2026-01-27T08:42:54Z)
• Instruction Finetuning LLaMA-3-8B Model Using LoRA for Financial Named Entity Recognition [0.0]
  本稿では,MetaのLlama 3 8Bを用いて,命令微調整とローランド適応(LoRA)を組み合わせた財務NERに適用する。 1,693文のコーパスを用いて,Qwen3-8B,Baichuan2-7B,T5,BERT-Baseと比較し,マイクロF1スコア0.894を得る。
  論文  参考訳（メタデータ） (2026-01-15T03:41:00Z)
• Financial Text Classification Based On rLoRA Finetuning On Qwen3-8B model [0.0]
  最先端モデルQwen3-8Bは、強い命令追従と多言語機能を示す。 推論ベースのベンチマークで、特に効率的な微調整と高性能に最適化されている。 命令ベースの微調整とメモリ効率の最適化手法の相乗効果は、Qwen3-8Bがリアルタイム金融NLPアプリケーションにスケーラブルで経済的な選択肢となる可能性を示唆している。
  論文  参考訳（メタデータ） (2025-11-29T21:04:13Z)
• Hala Technical Report: Building Arabic-Centric Instruction & Translation Models at Scale [51.41777906371754]
  私たちはHalaを紹介します。これはアラビア語中心の命令と翻訳モデルのファミリーで、私たちのトランスレーショナル・トゥン・パイプラインで構築されています。 軽量言語モデル LFM2-1.2B は、このデータに基づいて微調整され、高品質の英語の命令セットをアラビア語に翻訳するために使用される。 我々は、Halaモデルを350M、700M、1.2B、9Bパラメータでトレーニングし、アラビア語の特殊化とベースモデルの強度のバランスをとるためにスラープマージを適用します。
  論文  参考訳（メタデータ） (2025-09-17T14:19:28Z)
• Shadow-FT: Tuning Instruct Model via Training on Paired Base Model [67.20706292627106]
  大規模言語モデル(LLM)は、様々なタスクのさらなる微調整の恩恵を一貫して受けている。 本稿では,対応するベースモデルを活用してインストラクタモデルをチューニングするための新しいシャドウ-FTフレームワークを提案する。 提案するShadow-FTは,追加パラメータを導入せず,実装が容易で,性能が大幅に向上する。
  論文  参考訳（メタデータ） (2025-05-19T05:16:21Z)
• Boosting Large Language Models with Mask Fine-Tuning [60.56962908455601]
  Mask Fine-Tuning (MFT)を導入し、モデルの整合性を適切に破壊すると驚くほど性能が向上することを示した。 MFTは様々なドメインやバックボーンで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-03-27T20:17:57Z)
• ReasonFlux: Hierarchical LLM Reasoning via Scaling Thought Templates [51.633266497799745]
  思考テンプレートのスケーリングによる階層的LLM推論は、推論検索空間を効果的に最適化することができる。 i)類似または関連する推論問題に一般化可能な500ほどの高レベルな思考テンプレートを含む構造化・汎用的な思考テンプレートライブラリ,(ii)長いCoTではなく一連の思考テンプレート上で階層的な強化学習を行う,(iii)全く新しい推論スケーリングシステム,の3つの革新を紹介した。
  論文  参考訳（メタデータ） (2025-02-10T18:51:47Z)
• EfficientBERT: Progressively Searching Multilayer Perceptron via Warm-up Knowledge Distillation [82.3956677850676]
  事前学習された言語モデルは、様々なNLPタスクにおいて顕著な結果を示した。 サイズが大きく、推論速度が遅いため、エッジデバイスにデプロイするのは困難である。 本稿では、BERTにおけるフィードフォワードネットワーク(FFN)の改善が、マルチヘッドアテンション(MHA)の改善よりも高い利益をもたらすという批判的な洞察を得る。
  論文  参考訳（メタデータ） (2021-09-15T11:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。