論文の概要: KD4MT: A Survey of Knowledge Distillation for Machine Translation

• arxiv url: http://arxiv.org/abs/2602.15845v1
• Date: Thu, 22 Jan 2026 14:26:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 12:01:13.642609
• Title: KD4MT: A Survey of Knowledge Distillation for Machine Translation
• Title（参考訳）: KD4MT:機械翻訳の知識蒸留に関する調査
• Authors: Ona de Gibert, Joseph Attieh, Timothee Mickus, Yves Scherrer, Jörg Tiedemann,
• Abstract要約: この調査は105論文にわたる機械翻訳のための知識蒸留(2025年10月1日)を合成する。 我々は,KD4MTの方法論的貢献と実践的応用に基づいて,KD4MT文献の進歩を分類した。 具体的設定でKD法を選択するためのガイドラインを提案し, MTへのKDの適用に伴う潜在的なリスクを明らかにする。
• 参考スコア（独自算出の注目度）: 13.688061965899562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Distillation (KD) as a research area has gained a lot of traction in recent years as a compression tool to address challenges related to ever-larger models in NLP. Remarkably, Machine Translation (MT) offers a much more nuanced take on this narrative: in MT, KD also functions as a general-purpose knowledge transfer mechanism that shapes supervision and translation quality as well as efficiency. This survey synthesizes KD for MT (KD4MT) across 105 papers (through October 1, 2025). We begin by introducing both MT and KD for non-experts, followed by an overview of the standard KD approaches relevant to MT applications. Subsequently, we categorize advances in the KD4MT literature based on (i) their methodological contributions and (ii) their practical applications. Our qualitative and quantitative analyses identify common trends in the field and highlight key research gaps as well as the absence of unified evaluation practice for KD methods in MT. We further provide practical guidelines for selecting a KD method in concrete settings and highlight potential risks associated with the application of KD to MT such as increased hallucination and bias amplification. Finally, we discuss the role of LLMs in re-shaping the KD4MT field. To support further research, we complement our survey with a publicly available database summarizing the main characteristics of the surveyed KD methods and a glossary of key terms.
• Abstract（参考訳）: 研究分野としての知識蒸留(KD)は近年,NLPの超大型モデルに関わる課題に対処するための圧縮ツールとして,多くの注目を集めている。 MTでは、KDは、監督と翻訳の質と効率を形作る汎用的な知識伝達メカニズムとしても機能します。 MT用KD(KD4MT)を105紙(2025年10月1日)で合成する。 MT と KD の両方を非専門家向けに導入し,続いて MT アプリケーションに関連する標準 KD アプローチの概要を紹介する。 その後、我々はKD4MT文献の進歩を分類する。 一 方法論上の貢献及び貢献 (二)実践的応用 我々は,KD法を具体的設定で選択するための実践的ガイドラインや,幻覚や偏見の増幅など,KDのMTへの適用に伴う潜在的なリスクを明らかにするために,現場における共通トレンドを特定し,重要な研究ギャップを浮き彫りにする。 最後に、KD4MTフィールドの再形成におけるLLMの役割について論じる。 今後の研究を支援するために,調査対象のKD手法の主な特徴を要約したデータベースと,重要な用語の用語集を補完する。

関連論文リスト

• Applications of Knowledge Distillation in Remote Sensing: A Survey [3.481234252899159]
  知識蒸留(KD)は、複雑な、しばしば面倒なモデル(教師)からよりコンパクトで効率的なモデル(学生)へ知識を伝達するために開発された技術である。 この記事では、KDテクニックの包括的な分類法を提供し、各カテゴリを批判的に分析して、代替オプションの幅と深さを実証する。 本報告では, RSにおけるKDの課題と限界について論じる。
  論文  参考訳（メタデータ） (2024-09-18T16:30:49Z)
• Direct Preference Knowledge Distillation for Large Language Models [73.50849692633953]
  大規模言語モデル(LLM)のためのDPKD(Direct Preference Knowledge Distillation)を提案する。 我々はLLMのKDを、暗黙の報酬と逆のKL分岐からなる最適化と目的の2段階に再構成する。 実験と理論的解析により,KDにおける暗黙の報酬と出力選好の価値と効果を証明した。
  論文  参考訳（メタデータ） (2024-06-28T09:23:40Z)
• A Survey on Knowledge Distillation of Large Language Models [99.11900233108487]
  知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。 本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
  論文  参考訳（メタデータ） (2024-02-20T16:17:37Z)
• ShiftKD: Benchmarking Knowledge Distillation under Distribution Shift [7.256448072529497]
  知識蒸留(KD)は、大きなモデルから小さなモデルに知識を伝達し、近年顕著な成功を収めている。 しかし、実世界のアプリケーションにおける既存のKD手法の信頼性は、特に分布シフト下では、未解明のままである。 KDを2つの分散シフトに対してベンチマークするために,統一的かつ体系的なフレームワークtextscShiftKDを提案する。
  論文  参考訳（メタデータ） (2023-12-25T10:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。