論文の概要: Fine-Tuned Language Models for Domain-Specific Summarization and Tagging
- arxiv url: http://arxiv.org/abs/2510.25460v1
- Date: Wed, 29 Oct 2025 12:33:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:45.501371
- Title: Fine-Tuned Language Models for Domain-Specific Summarization and Tagging
- Title（参考訳）: ドメイン固有要約とタグ付けのための微調整言語モデル
- Authors: Jun Wang, Fuming Lin, Yuyu Chen,
- Abstract要約: 本稿では,ドメイン固有テキスト要約とタグ付けを効率的に行うために,細調整された大言語モデル(LLM)と名前付きエンティティ認識(NER)を統合するパイプラインを提案する。
著者らは、自動化された情報抽出と法執行機関の監視を複雑にする、急速に進化するサブカルチャー言語とスラングによって引き起こされる課題に対処する。
- 参考スコア（独自算出の注目度）: 3.543800643014229
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a pipeline integrating fine-tuned large language models (LLMs) with named entity recognition (NER) for efficient domain-specific text summarization and tagging. The authors address the challenge posed by rapidly evolving sub-cultural languages and slang, which complicate automated information extraction and law enforcement monitoring. By leveraging the LLaMA Factory framework, the study fine-tunes LLMs on both generalpurpose and custom domain-specific datasets, particularly in the political and security domains. The models are evaluated using BLEU and ROUGE metrics, demonstrating that instruction fine-tuning significantly enhances summarization and tagging accuracy, especially for specialized corpora. Notably, the LLaMA3-8B-Instruct model, despite its initial limitations in Chinese comprehension, outperforms its Chinese-trained counterpart after domainspecific fine-tuning, suggesting that underlying reasoning capabilities can transfer across languages. The pipeline enables concise summaries and structured entity tagging, facilitating rapid document categorization and distribution. This approach proves scalable and adaptable for real-time applications, supporting efficient information management and the ongoing need to capture emerging language trends. The integration of LLMs and NER offers a robust solution for transforming unstructured text into actionable insights, crucial for modern knowledge management and security operations.
- Abstract（参考訳）: 本稿では,ドメイン固有テキスト要約とタグ付けを効率的に行うために,細調整された大言語モデル(LLM)と名前付きエンティティ認識(NER)を統合するパイプラインを提案する。
著者らは、自動化された情報抽出と法執行機関の監視を複雑にする、急速に進化するサブカルチャー言語とスラングによって引き起こされる課題に対処する。
LLaMA Factoryフレームワークを利用することで、この研究は汎用的およびカスタムドメイン固有のデータセット、特に政治的およびセキュリティドメインの両方を微調整する。
モデルはBLEUとROUGEのメトリクスを用いて評価され、特に特殊コーパスにおいて、命令の微調整が要約とタグ付けの精度を大幅に向上させることを示した。
特に、LLaMA3-8B-インストラクトモデルは、中国語の理解に最初の制限があったにもかかわらず、ドメイン固有の微調整の後、中国語で訓練されたモデルよりも優れており、基礎となる推論能力が言語間で伝達可能であることを示唆している。
パイプラインは簡潔な要約と構造化エンティティのタグ付けを可能にし、迅速なドキュメント分類と配布を容易にする。
このアプローチは、リアルタイムアプリケーションにスケーラブルで適応可能であることを証明し、効率的な情報管理と、新たな言語トレンドをキャプチャする継続的な必要性をサポートします。
LLMとNERの統合は、構造化されていないテキストを実行可能な洞察に変換する堅牢なソリューションを提供する。
関連論文リスト
- Large Language Models are Good Relational Learners [55.40941576497973]
本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。
従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
論文 参考訳（メタデータ） (2025-06-06T04:07:55Z) - MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。
MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。
LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
論文 参考訳（メタデータ） (2025-03-26T11:09:21Z) - Chunk-Distilled Language Modeling [25.238256586953487]
Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。
提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
論文 参考訳（メタデータ） (2024-12-31T08:32:15Z) - CATER: Leveraging LLM to Pioneer a Multidimensional, Reference-Independent Paradigm in Translation Quality Evaluation [0.0]
Comprehensive AI-assisted Translation Edit Ratio (CATER)は、機械翻訳(MT)の品質を評価するための新しいフレームワークである。
大きな言語モデル(LLM)は、慎重に設計されたプロンプトベースのプロトコルによって使用される。
論文 参考訳（メタデータ） (2024-12-15T17:45:34Z) - KRAG Framework for Enhancing LLMs in the Legal Domain [0.48451657575793666]
本稿ではKRAG(Knowledge Representation Augmented Generation)を紹介する。
KRAGは、ドメイン固有のアプリケーションにおけるLarge Language Models(LLM)の機能を強化するために設計されたフレームワークである。
KRAGに基づく実装モデルであるSoft PROLEGを提案する。
論文 参考訳（メタデータ） (2024-10-10T02:48:06Z) - Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。
データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。
コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
論文 参考訳（メタデータ） (2024-10-01T04:20:14Z) - Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。
中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。
このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
論文 参考訳（メタデータ） (2024-06-13T12:43:40Z) - Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。
これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
論文 参考訳（メタデータ） (2024-04-10T16:44:11Z) - Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。
提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。
PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文 参考訳（メタデータ） (2022-11-15T01:13:39Z) - Reinforced Iterative Knowledge Distillation for Cross-Lingual Named
Entity Recognition [54.92161571089808]
言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。
既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。
半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
論文 参考訳（メタデータ） (2021-06-01T05:46:22Z) - Structured Prediction as Translation between Augmented Natural Languages [109.50236248762877]
本研究では,構造化予測言語の課題を解決するために,新しいフレームワークであるTANL(Translation between Augmented Natural Languages)を提案する。
タスク固有の差別を訓練することで問題に取り組む代わりに、拡張自然言語間の翻訳タスクとして位置づける。
提案手法は, タスク固有のモデルに適合するか, 性能に優れ, 特に, 共同エンティティと関係抽出に関する新たな最先端結果が得られる。
論文 参考訳（メタデータ） (2021-01-14T18:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。