論文の概要: Sentence-Level or Token-Level? A Comprehensive Study on Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2404.14827v1
• Date: Tue, 23 Apr 2024 08:29:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 14:51:00.748461
• Title: Sentence-Level or Token-Level? A Comprehensive Study on Knowledge Distillation
• Title（参考訳）: 文レベルかトークンレベルか : 知識蒸留に関する総合的研究
• Authors: Jingxuan Wei, Linzhuang Sun, Yichong Leng, Xu Tan, Bihui Yu, Ruifeng Guo,
• Abstract要約: 知識蒸留は、教師モデルから学生モデルに知識を伝達するものであり、ニューラルネットワーク翻訳において強力な技術として現れている。 本研究では,より複雑な目的(すなわち分布)を持つトークンレベルの蒸留が,単純なシナリオに適していると主張している。 本稿では,ゲーティング機構によるトークンレベルの蒸留と文レベルの蒸留を組み合わせた新しいハイブリッド手法を提案する。
• 参考スコア（独自算出の注目度）: 25.58020699235669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation, transferring knowledge from a teacher model to a student model, has emerged as a powerful technique in neural machine translation for compressing models or simplifying training targets. Knowledge distillation encompasses two primary methods: sentence-level distillation and token-level distillation. In sentence-level distillation, the student model is trained to align with the output of the teacher model, which can alleviate the training difficulty and give student model a comprehensive understanding of global structure. Differently, token-level distillation requires the student model to learn the output distribution of the teacher model, facilitating a more fine-grained transfer of knowledge. Studies have revealed divergent performances between sentence-level and token-level distillation across different scenarios, leading to the confusion on the empirical selection of knowledge distillation methods. In this study, we argue that token-level distillation, with its more complex objective (i.e., distribution), is better suited for ``simple'' scenarios, while sentence-level distillation excels in ``complex'' scenarios. To substantiate our hypothesis, we systematically analyze the performance of distillation methods by varying the model size of student models, the complexity of text, and the difficulty of decoding procedure. While our experimental results validate our hypothesis, defining the complexity level of a given scenario remains a challenging task. So we further introduce a novel hybrid method that combines token-level and sentence-level distillation through a gating mechanism, aiming to leverage the advantages of both individual methods. Experiments demonstrate that the hybrid method surpasses the performance of token-level or sentence-level distillation methods and the previous works by a margin, demonstrating the effectiveness of the proposed hybrid method.
• Abstract（参考訳）: 知識蒸留は、教師モデルから学生モデルに知識を伝達するものであり、モデル圧縮や訓練対象の簡易化のためのニューラルネットワーク翻訳において、強力な技術として登場した。 知識蒸留は、文レベルの蒸留とトークンレベルの蒸留の2つの主要な方法を含む。 文レベルの蒸留では,学生モデルが教師モデルの出力と整合するように訓練され,訓練の難しさを軽減し,学生モデルにグローバルな構造を包括的に理解させる。 異なることに、トークンレベルの蒸留では、生徒が教師モデルの出力分布を学習し、よりきめ細かい知識の伝達を容易にする必要がある。 研究により、異なるシナリオにおける文レベルの蒸留とトークンレベルの蒸留の相違が明らかとなり、知識蒸留法の実証的選択に混乱が生じた。 本研究では,より複雑な目的(すなわち分布)を持つトークンレベルの蒸留が,「単純」のシナリオに適しているのに対して,文レベルの蒸留は「複雑」のシナリオに優れていることを論じる。 そこで本研究では, 学生モデルのモデルサイズ, テキストの複雑さ, 復号処理の難しさを変動させることにより, 蒸留法の性能を系統的に解析する。 我々の実験結果は我々の仮説を検証するが、与えられたシナリオの複雑さレベルを定義することは難しい課題である。 そこで本稿では,トークンレベルと文レベルの蒸留をゲーティング機構を通じて組み合わせた新しいハイブリッド手法を提案する。 実験により, このハイブリット法は, トークンレベルの蒸留法や文レベルの蒸留法, 以前の蒸留法をマージンで上回り, 提案したハイブリット法の有効性を実証した。

関連論文リスト

• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Education distillation:getting student models to learn in shcools [15.473668050280304]
  本稿では,知識蒸留における動的漸進学習を紹介する。 完全学生モデルから分割した断片化された学生モデルを下級モデルとして扱うことが提案されている。
  論文  参考訳（メタデータ） (2023-11-23T05:20:18Z)
• Can a student Large Language Model perform as well as it's teacher? [0.0]
  知識蒸留は、高容量の「教師」モデルから流線形の「学生」モデルに知識を伝達することを目的としている。 本稿では,知識蒸留のパラダイムについて概観する。
  論文  参考訳（メタデータ） (2023-10-03T20:34:59Z)
• The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework [21.494759678807686]
  ビデオ分類における知識蒸留のための弱教師付き学習フレームワークを提案する。 本手法は,サブステージ学習の概念を利用して,学生のサブステージの組み合わせと,それに対応するサブステージの相関に基づく知識を抽出する。 提案手法は,ビデオデータに対するラベル効率学習の今後の研究の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-07-11T12:10:42Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Life-long Learning for Multilingual Neural Machine Translation with Knowledge Distillation [48.96946395851039]
  MNMT(Multilingual Neural Machine Translation)の一般的なシナリオは、各翻訳タスクが逐次的に到着し、以前のタスクのトレーニングデータが利用できないことである。 従来のモデル(教師)と新しいタスクから多言語出力を共同学習するための多言語蒸留法を提案する。 12の翻訳タスクに関する実験結果から,提案手法は従来の知識をより強化し,CFを著しく緩和できることが示された。
  論文  参考訳（メタデータ） (2022-12-06T07:36:16Z)
• Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation [72.70058049274664]
  文献要約のための新しい枠組みであるRefereeについて紹介する(つまり、監督のために金の要約を必要としない)。 我々の研究は、シンボリック知識蒸留の概念的枠組みを通じて、参照不要で制御された文要約が実現可能であることを示す最初のものである。
  論文  参考訳（メタデータ） (2022-10-25T07:07:54Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Why distillation helps: a statistical perspective [69.90148901064747]
  知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。 この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。 蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
  論文  参考訳（メタデータ） (2020-05-21T01:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。