論文の概要: Low-Resource Fine-Tuning for Multi-Task Structured Information Extraction with a Billion-Parameter Instruction-Tuned Model

• arxiv url: http://arxiv.org/abs/2509.08381v1
• Date: Wed, 10 Sep 2025 08:19:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.356271
• Title: Low-Resource Fine-Tuning for Multi-Task Structured Information Extraction with a Billion-Parameter Instruction-Tuned Model
• Title（参考訳）: 10億パラメータ命令付きモデルによるマルチタスク構造化情報抽出のための低リソースファインチューニング
• Authors: Yu Cheng Chih, Yong Hao Hou,
• Abstract要約: 金融コンプライアンス報告のようなドメインで構造化データ抽出のための大きな言語モデル(LLM)をデプロイすることは、大規模なアーキテクチャを実行するコストが高いことと、大規模で高品質なデータセットを作成するのが難しいため、小規模チームにとって現実的ではないことが多い。 本研究は,タスク毎のサンプル数,知識グラフ抽出,名前付きエンティティ認識に対して,低ランク適応を施した10億パラメータLLaMAモデルを提案する。 これらの結果は、十分に調整された小型モデルが、計算コストのごく一部で安定かつ正確な構造化された出力を提供できることを示し、資源中のコスト効率と信頼性の高い情報抽出パイプラインを可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying large language models (LLMs) for structured data extraction in domains such as financial compliance reporting, legal document analytics, and multilingual knowledge base construction is often impractical for smaller teams due to the high cost of running large architectures and the difficulty of preparing large, high-quality datasets. Most recent instruction-tuning studies focus on seven-billion-parameter or larger models, leaving limited evidence on whether much smaller models can work reliably under low-resource, multi-task conditions. This work presents ETLCH, a billion-parameter LLaMA-based model fine-tuned with low-rank adaptation on only a few hundred to one thousand samples per task for JSON extraction, knowledge graph extraction, and named entity recognition. Despite its small scale, ETLCH outperforms strong baselines across most evaluation metrics, with substantial gains observed even at the lowest data scale. These findings demonstrate that well-tuned small models can deliver stable and accurate structured outputs at a fraction of the computational cost, enabling cost-effective and reliable information extraction pipelines in resource-constrained environments.
• Abstract（参考訳）: 金融コンプライアンスレポート、法律文書分析、多言語知識ベース構築といったドメインで構造化データ抽出のための大きな言語モデル(LLM)をデプロイすることは、大規模アーキテクチャの実行コストが高いことと、大規模で高品質なデータセットを作成するのが難しいため、小さなチームにとって現実的ではないことが多い。 最近のインストラクションチューニング研究は7ビリオンパラメータまたはより大きなモデルに焦点を当てており、より小さなモデルが低リソースのマルチタスク条件下で確実に機能するかどうかという限られた証拠を残している。 ETLCHは10億パラメータのLLaMAモデルで、JSON抽出、知識グラフ抽出、名前付きエンティティ認識のためのタスク毎の数百から1000のサンプルに対して、低ランク適応で微調整されている。 その小さなスケールにもかかわらず、ETLCHは、ほとんどの評価指標で強いベースラインを上回り、最も低いデータスケールでもかなりの利得が観察される。 これらの結果から, 安定かつ高精度な構造化出力を計算コストのごく一部で実現し, 資源制約のある環境において, 低コストで信頼性の高い情報抽出パイプラインを実現することが示唆された。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Augmented Relevance Datasets with Fine-Tuned Small LLMs [0.7022492404644501]
  本稿では,小型かつ微調整された大規模言語モデル (LLM) を用いた妥当性評価の自動化について検討する。 そこで我々は,小規模LLMを微調整し,関連性評価を強化し,下流ランキングモデルトレーニングのためのデータセット作成品質を向上させる。
  論文  参考訳（メタデータ） (2025-04-14T02:35:00Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• InkubaLM: A small language model for low-resource African languages [9.426968756845389]
  InkubaLMは0.4億のパラメータを持つ小さな言語モデルである。 パラメータ数が大幅に大きいモデルに匹敵するパフォーマンスを実現する。 複数の言語にまたがる顕著な一貫性を示す。
  論文  参考訳（メタデータ） (2024-08-30T05:42:31Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Improving Large Models with Small models: Lower Costs and Better Performance [81.55672406002715]
  我々は,小型モデルと大規模モデルの協調のための一般的なパラダイムであるData Shunt$+$ (DS$+$)を提案する。 例えば、ChatGPTはAmazon Productの感情分析で9,43%の精度を達成し、DS$+は9,5.64%の精度を達成している。
  論文  参考訳（メタデータ） (2024-06-15T14:44:43Z)
• Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
  一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。 1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。 小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
  論文  参考訳（メタデータ） (2024-01-26T11:04:01Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Efficient Sentiment Analysis: A Resource-Aware Evaluation of Feature Extraction Techniques, Ensembling, and Deep Learning Models [0.0]
  我々は,資源コストに着目した文書レベルの感情分析モデルを評価する。 より小さなデータセットでは,資源消費の差が大きくなるにつれて精度の差が小さくなることがわかった。
  論文  参考訳（メタデータ） (2023-08-03T20:29:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。