論文の概要: Decoder-based Sense Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2602.22351v1
• Date: Wed, 25 Feb 2026 19:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.385579
• Title: Decoder-based Sense Knowledge Distillation
• Title（参考訳）: デコーダを用いたセンス知識蒸留
• Authors: Qitong Wang, Mohammed J. Zaki, Georgios Kollias, Vasileios Kalantzis,
• Abstract要約: Decoder-based Sense Knowledge Distillation (DSKD)は,レキシカルリソースをデコーダスタイルのLLMのトレーニングに統合するフレームワークである。 多様なベンチマーク実験により、DSKDはデコーダの知識蒸留性能を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 24.33604323656706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) learn contextual embeddings that capture rich semantic information, yet they often overlook structured lexical knowledge such as word senses and relationships. Prior work has shown that incorporating sense dictionaries can improve knowledge distillation for encoder models, but their application to decoder as generative models remains challenging. In this paper, we introduce Decoder-based Sense Knowledge Distillation (DSKD), a framework that integrates lexical resources into the training of decoder-style LLMs without requiring dictionary lookup at inference time. Extensive experiments on diverse benchmarks demonstrate that DSKD significantly enhances knowledge distillation performance for decoders, enabling generative models to inherit structured semantics while maintaining efficient training.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、リッチな意味情報をキャプチャする文脈的埋め込みを学習するが、単語感覚や関係のような構造的語彙的知識を見落としてしまうことが多い。 従来の研究は、センス辞書を組み込むことでエンコーダモデルの知識蒸留を改善することができたが、デコーダを生成モデルとして応用することは依然として困難である。 本稿では,デコーダをベースとしたSense Knowledge Distillation(DSKD)について紹介する。 多様なベンチマークに関する大規模な実験により、DSKDはデコーダの知識蒸留性能を大幅に向上し、生成モデルが効率的なトレーニングを維持しながら構造的セマンティクスを継承できることが示されている。

関連論文リスト

• Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation [45.347078403677216]
  大規模モデル(LSM)は意味表現と理解に有効なフレームワークである。 しかしながら、それらの直接的なデプロイメントは、しばしば高い計算複雑性とリソース要求によって妨げられる。 本稿では,新しい知識蒸留に基づくセマンティックコミュニケーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-04T07:47:18Z)
• LLM4CD: Leveraging Large Language Models for Open-World Knowledge Augmented Cognitive Diagnosis [56.50378080174923]
  オープンワールド知識強化認知診断のための大規模言語モデルを活用するLCM4CDを提案する。 本手法はLLMのオープンワールド知識を利用して認知表現型テキスト表現を構築し,CDタスクにリッチな意味情報を導入する。 このアプローチは、従来のID埋め込みを意味表現に置き換え、新しい学生やオープンワールドの知識を持つエクササイズに対応できるようにし、コールドスタート問題に対処する。
  論文  参考訳（メタデータ） (2025-05-14T14:48:00Z)
• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [63.48785461956983]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• CANDLE: Iterative Conceptualization and Instantiation Distillation from Large Language Models for Commonsense Reasoning [45.62134354858683]
  CANDLEは、コモンセンス知識ベースに対する概念化とインスタンス化を反復的に行うフレームワークである。 CANDLEをATOMICに適用することにより、600万の概念化と三重項のインスタンス化を含む総合的な知識基盤を構築する。
  論文  参考訳（メタデータ） (2024-01-14T13:24:30Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• KILM: Knowledge Injection into Encoder-Decoder Language Models [26.44077668498835]
  大規模事前学習言語モデル(PLM)は、パラメータ内で暗黙の知識を保持することが示されている。 本稿では,エンティティ関連知識をエンコーダ・デコーダ PLM に注入する手法として,言語モデルへの知識注入(KILM)を提案する。 KILMは、一般的なNLUタスクやNLGタスクでの本来のパフォーマンスを維持しながら、モデルがより多くの知識を保持し、幻覚を少なくすることを可能にする。
  論文  参考訳（メタデータ） (2023-02-17T22:48:07Z)
• DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding [19.478288026844893]
  知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。 従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。 本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
  論文  参考訳（メタデータ） (2021-12-02T08:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。