論文の概要: Collective Relevance Labeling for Passage Retrieval

• arxiv url: http://arxiv.org/abs/2205.03273v1
• Date: Fri, 6 May 2022 14:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-09 12:43:14.029334
• Title: Collective Relevance Labeling for Passage Retrieval
• Title（参考訳）: パッセージ検索のための集団関連ラベル付け
• Authors: Jihyuk Kim, Minsso Kim, Seung-won Hwang
• Abstract要約: 私たちは、最先端の教師よりもx8まで速くトレーニングし、ランキングをよりよく蒸留します。 私たちのコードはhttps://github.com/jihyukkim-nlp/CollectiveKD.comで公開されています。
• 参考スコア（独自算出の注目度）: 17.459916550582044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning for Information Retrieval (IR) requires a large amount of high-quality query-document relevance labels, but such labels are inherently sparse. Label smoothing redistributes some observed probability mass over unobserved instances, often uniformly, uninformed of the true distribution. In contrast, we propose knowledge distillation for informed labeling, without incurring high computation overheads at evaluation time. Our contribution is designing a simple but efficient teacher model which utilizes collective knowledge, to outperform state-of-the-arts distilled from a more complex teacher model. Specifically, we train up to x8 faster than the state-of-the-art teacher, while distilling the rankings better. Our code is publicly available at https://github.com/jihyukkim-nlp/CollectiveKD.
• Abstract（参考訳）: deep learning for information retrieval (ir) は高品質なクエリドキュメント関連ラベルを必要とするが、そのようなラベルは本質的には乏しい。 ラベル平滑化は観測された確率質量を観測されていないインスタンス上で再分配する。 対照的に, 評価時に高い計算オーバーヘッドを伴わずに, インフォームドラベルの知識蒸留を提案する。 本研究の貢献は,より複雑な教師モデルから蒸留した成果を上回って,集団的知識を活かした,単純かつ効率的な教師モデルを設計することである。 具体的には、最先端の教師よりもx8まで速くトレーニングし、ランキングを蒸留します。 私たちのコードはhttps://github.com/jihyukkim-nlp/collectivekdで公開されています。

関連論文リスト

• Ranking Distillation for Open-Ended Video Question Answering with Insufficient Labels [31.063490654998617]
  本稿では,ビデオ関連質問に対する応答として,大きめの回答から正しい回答を見つけることを目的とした,オープンなビデオ質問応答に焦点を当てた。 アノテーションのコストのため、既存のベンチマークのラベルは常に極めて不十分であり、典型的には1つの答えである。 そこで本研究では,手作業によるアノテーションを伴わずにこの問題を軽減するため,簡易かつ効果的なランキング蒸留フレームワーク (RADI) を提案する。
  論文  参考訳（メタデータ） (2024-03-21T14:37:50Z)
• Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
  クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。 本稿では, ラベルスキュード・フェデレート学習における新しい手法であるFedVLSについて紹介する。
  論文  参考訳（メタデータ） (2024-01-04T16:06:31Z)
• Pseudo-label Correction for Instance-dependent Noise Using Teacher-student Framework [1.2618527387900083]
  P-LC (pseudo-label correct) と呼ばれる新しい教師支援型フレームワークを提案する。 提案手法では,教師ネットワークを三重エンコーダに再構成し,三重項損失を利用して擬似ラベル補正システムを構築する。 MNIST、Fashion-MNIST、SVHNの実験では、P-LCは全てのノイズレベルにわたって既存の最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-24T00:36:17Z)
• Multi-Label Knowledge Distillation [86.03990467785312]
  本稿では,新しい多ラベル知識蒸留法を提案する。 一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。 一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
  論文  参考訳（メタデータ） (2023-08-12T03:19:08Z)
• GaussianMLR: Learning Implicit Class Significance via Calibrated Multi-Label Ranking [0.0]
  本稿では,ガウスMLRという新しい多ラベルランキング手法を提案する。 これは、正のラベルのランクを決定する暗黙のクラス重要性の値を学ぶことを目的としている。 提案手法は, 組み込まれた正のランク順の表現を正確に学習できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T14:09:08Z)
• Weighted Distillation with Unlabeled Examples [15.825078347452024]
  ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。 本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T04:08:56Z)
• Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
  本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。 具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
  論文  参考訳（メタデータ） (2022-08-21T07:47:05Z)
• Label Matching Semi-Supervised Object Detection [85.99282969977541]
  半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。 ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。 本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-14T05:59:41Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Distilling Dense Representations for Ranking using Tightly-Coupled Teachers [52.85472936277762]
  我々は最近提案された後期相互作用ColBERTモデルを改善するために知識蒸留を適用した。 ColBERT の表現型 MaxSim 演算子から知識を抽出し、関連度スコアを単純な点積に変換する。 提案手法はクエリ待ち時間を改善し,ColBERTの面倒なストレージ要件を大幅に削減する。
  論文  参考訳（メタデータ） (2020-10-22T02:26:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。