Fugu-MT 論文翻訳(概要): Weighted KL-Divergence for Document Ranking Model Refinement

論文の概要: Weighted KL-Divergence for Document Ranking Model Refinement

arxiv url: http://arxiv.org/abs/2406.05977v1
Date: Mon, 10 Jun 2024 02:29:35 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-10 22:09:05.424744
Title: Weighted KL-Divergence for Document Ranking Model Refinement
Title（参考訳）: 文書ランク付けモデル再構成のための重み付きKL-Divergence
Authors: Yingrui Yang, Yifan Qiao, Shanxiu He, Tao Yang,
Abstract要約: 本稿では,学生と教師モデルとの整合性を優先し,正と負の文書を適切に分離するKL発散項を再重み付けする。本稿では,MS MARCO と BEIR データセットの損失関数の解析と評価を行い,その妥当性を実証する。
参考スコア（独自算出の注目度）: 11.29398362479766
License:
Abstract: Transformer-based retrieval and reranking models for text document search are often refined through knowledge distillation together with contrastive learning. A tight distribution matching between the teacher and student models can be hard as over-calibration may degrade training effectiveness when a teacher does not perform well. This paper contrastively reweights KL divergence terms to prioritize the alignment between a student and a teacher model for proper separation of positive and negative documents. This paper analyzes and evaluates the proposed loss function on the MS MARCO and BEIR datasets to demonstrate its effectiveness in improving the relevance of tested student models.
Abstract（参考訳）: テキスト検索のためのトランスフォーマーに基づく検索とリランクモデルはしばしば、知識蒸留と対照的な学習によって洗練される。教師と生徒のモデルとの厳密な分布マッチングは、教師がうまく機能しない場合、過度校正が訓練効果を低下させる可能性があるため、難しい。本稿では,学生と教師モデルとの整合性を優先し,正と負の文書を適切に分離するKL発散項を再重み付けする。本稿では,MS MARCO と BEIR データセットの損失関数の解析と評価を行い,その妥当性を実証する。

関連論文リスト

Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
論文参考訳（メタデータ） (2024-10-15T06:51:25Z)
Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
論文参考訳（メタデータ） (2024-09-19T07:05:26Z)
Dynamic Guidance Adversarial Distillation with Enhanced Teacher Knowledge [17.382306203152943]
Dynamic Guidance Adversarial Distillation (DGAD) フレームワークは、差分サンプルの重要性の課題に取り組む。 DGADは蒸留焦点を動的に調整するためにミスクラス化認識分割(MAP)を使用している。 Error-corrective Label Swapping (ELS) は、クリーン入力と逆入力の両方で教師の誤分類を補正する。
論文参考訳（メタデータ） (2024-09-03T05:52:37Z)
Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
論文参考訳（メタデータ） (2023-11-23T11:30:54Z)
EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文参考訳（メタデータ） (2023-01-27T22:04:37Z)
Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
論文参考訳（メタデータ） (2022-12-13T12:14:09Z)
Knowledge Distillation from A Stronger Teacher [44.11781464210916]
本稿では,より強い教師を駆使したDIST法を提案する。経験的に、学生と教師の予測の相違は、かなり厳しいものになりがちである。提案手法は単純かつ実用的であり,様々なアーキテクチャに適応できることを示す。
論文参考訳（メタデータ） (2022-05-21T08:30:58Z)
Model Uncertainty-Aware Knowledge Amalgamation for Pre-Trained Language Models [37.88287077119201]
PLMのための新しいモデル再利用パラダイムであるKnowledge Amalgamation(KA)を提案する。 KAは、人間のアノテーションを使用せずに、異なる分類問題に特化している異なる教師-PLMの知識を、汎用的な学生モデルにマージすることを目的としている。実験の結果,MUKAはベンチマークデータセットのベースラインよりも大幅に改善されていることがわかった。
論文参考訳（メタデータ） (2021-12-14T12:26:24Z)
MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文参考訳（メタデータ） (2020-11-01T18:47:51Z)
Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。