論文の概要: Domain Specific Specialization in Low-Resource Settings: The Efficacy of Offline Response-Based Knowledge Distillation in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.16219v1
• Date: Mon, 05 Jan 2026 18:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.449135
• Title: Domain Specific Specialization in Low-Resource Settings: The Efficacy of Offline Response-Based Knowledge Distillation in Large Language Models
• Title（参考訳）: 低リソース環境におけるドメイン特化:大規模言語モデルにおけるオフライン応答に基づく知識蒸留の有効性
• Authors: Erdem Aslan, Pakize Erdoğmuş,
• Abstract要約: LLM(Large Language Models)は、一般的なタスクでは優れるが、ドメイン固有の知識や制度的な知識を扱う際には、予習に苦慮することが多い。 本稿では,ハードウェアリソースの制約下で,高精度な特殊アシスタントを開発するオフライン応答に基づく知識蒸留手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) excel in general tasks but often struggle with hallucinations when handling domain-specific or institutional knowledge absent from their pre-training. We present an offline response-based knowledge distillation method that develops high-accuracy specialized assistants under constrained hardware resources. We evaluate three distinct data strategies: general domain adaptation (15,000 lines), unstructured knowledge injection (2,000 lines), and a context-aware synthetic dataset (500 lines) generated by a teacher model. To minimize computational costs, we utilize the Unsloth library to optimize the Qwen-2.5-7B student model, reducing NVIDIA A100 GPU memory requirements from 40 GB to 16 GB. Experimental results demonstrate that while larger unstructured datasets suffer from persistent hallucinations, the 500-line context-aware dataset achieves a 96.7% accuracy rate and robust rejection capability. These findings validate the LIMA hypothesis, showing that data quality and structural alignment are more critical than quantity for domain adaptation in low-resource settings.
• Abstract（参考訳）: LLM(Large Language Models)は、一般的なタスクでは優れていますが、ドメイン固有の知識や制度的な知識を扱う際に、前訓練から外れた幻覚に悩まされることが少なくありません。 本稿では,ハードウェアリソースの制約下で,高精度な特殊アシスタントを開発するオフライン応答に基づく知識蒸留手法を提案する。 一般領域適応(15,000行)、構造化されていない知識注入(2000行)、教師モデルによって生成された文脈認識型合成データセット(500行)の3つの異なるデータ戦略を評価した。 計算コストを最小化するために、Unslothライブラリを使用して、Qwen-2.5-7B学生モデルの最適化を行い、NVIDIA A100 GPUメモリの要求を40GBから16GBに削減した。 実験の結果、より大きな非構造化データセットは持続的な幻覚に苦しむ一方で、500行のコンテキスト認識データセットは96.7%の精度と頑健な拒絶能力を達成することが示された。 これらの結果はLIMA仮説を検証し,低リソース環境における領域適応量よりもデータ品質と構造アライメントが重要であることを示した。

関連論文リスト

• Towards Open-Vocabulary Industrial Defect Understanding with a Large-Scale Multimodal Dataset [1.1470070927586018]
  IMDD-1Mは,1000,000組の画像テキストペアからなる,最初の大規模産業用マルチモーダル欠陥データセットである。 このデータセットは、分類、セグメンテーション、検索、キャプション、生成モデリングを含む広範囲のアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2025-12-30T11:45:22Z)
• Building Domain-Specific Small Language Models via Guided Data Generation [5.404790079646315]
  大規模言語モデル(LLM)は、幅広い知識集約的なタスクをサポートすることに顕著な成功を収めている。 専門分野においては、分野の専門家をドメイン固有の課題で支援するためにLLMを活用することへの関心が高まっている。 多くのオープンソースモデルは、効果的なドメイン適応とデプロイのために重要な計算資源を必要とする。 小型シードコーパスからガイド付き合成データ生成とボトムアップドメインデータを組み合わせた,低コストでスケーラブルなトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-11-23T07:19:31Z)
• Learn More, Forget Less: A Gradient-Aware Data Selection Approach for LLM [51.21051698747157]
  大規模言語モデル(LLM)の教師付き微調整のための自己適応型勾配対応データ選択手法(GrADS)を提案する。 具体的には、勾配の大きさと統計的分布を利用した自己指導型基準を設計し、モデルの学習プロセスに最も寄与する例を優先する。 GrADSは、医学、法学、金融など様々な分野にまたがる様々なLLMの広範な実験を通じて、大幅な効率性と費用対効果を示してきた。
  論文  参考訳（メタデータ） (2025-11-07T08:34:50Z)
• Combatting Dimensional Collapse in LLM Pre-Training Data via Diversified File Selection [65.96556073745197]
  DiverSified File selection algorithm (DiSF) は特徴空間における最も非相関なテキストファイルを選択するために提案される。 DiSFは590万のトレーニングファイルの98.5%をSlimPajamaに保存し、50Bのトレーニング予算内でのデータ事前トレーニングを上回っている。
  論文  参考訳（メタデータ） (2025-04-29T11:13:18Z)
• FRIDA to the Rescue! Analyzing Synthetic Data Effectiveness in Object-Based Common Sense Reasoning for Disaster Response [25.400882898288216]
  フィールド推論および命令復号化エージェント(FRIDA)モデルを作成するためのデータセットとパイプラインを導入する。 私たちのパイプラインでは、ドメインの専門家と言語学者が知識を組み合わせて、高品質で数発のプロンプトを作ります。 そこで本研究では,FRIDAモデルがオブジェクトの物理的状態と関数データのみを学習し,FRIDAモデルがすべての合成データとベースモデルの両方で学習したモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-25T18:51:06Z)
• Few-Shot Optimized Framework for Hallucination Detection in Resource-Limited NLP Systems [1.0124625066746595]
  本稿では,DeepSeek Few-shotの最適化を導入し,反復的なプロンプトエンジニアリングによりラベル生成の弱さを高める。 下流モデルの性能を大幅に向上させる高品質なアノテーションを実現する。 さらに、これらの最適化アノテーションに基づいてMistral-7B-Instruct-v0.3モデルを微調整し、リソース制限設定における幻覚を正確に検出する。
  論文  参考訳（メタデータ） (2025-01-28T01:26:22Z)
• Knowledge Distillation Using Frontier Open-source LLMs: Generalizability and the Role of Synthetic Data [0.01884913108327873]
  大規模なオープンソース言語モデル(LLM)は、より小さなLLMよりも推論コストとレイテンシが高い。 知識蒸留は、これらの大規模で有能な教師モデルからの出力を使用して、より小さな学生モデルを訓練する方法を提供する。 Llama-3.1-405B-インストラクタとLlama-3.1-8B-インストラクタとLlama-3.1-70B-インストラクタを用いた蒸留の有効性を検討した。
  論文  参考訳（メタデータ） (2024-10-24T09:37:23Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。