論文の概要: Metric-guided Distillation: Distilling Knowledge from the Metric to Ranker and Retriever for Generative Commonsense Reasoning

• arxiv url: http://arxiv.org/abs/2210.11708v1
• Date: Fri, 21 Oct 2022 03:34:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 14:35:46.141506
• Title: Metric-guided Distillation: Distilling Knowledge from the Metric to Ranker and Retriever for Generative Commonsense Reasoning
• Title（参考訳）: 計量誘導蒸留:計量からランチャーへの知識の蒸留とジェネレーティブ・コモンセンス推論のためのレトリバー
• Authors: Xingwei He, Yeyun Gong, A-Long Jin, Weizhen Qi, Hang Zhang, Jian Jiao, Bartuer Zhou, Biao Cheng, SM Yiu and Nan Duan
• Abstract要約: 本稿では,計量からランクまで知識を蒸留するための計量蒸留則を提案する。 さらに、蒸留したランクラーによって要約された臨界知識をレトリバーに転送する。 提案手法の有効性をCommonGenベンチマークで検証した。
• 参考スコア（独自算出の注目度）: 48.18060169551869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commonsense generation aims to generate a realistic sentence describing a daily scene under the given concepts, which is very challenging, since it requires models to have relational reasoning and compositional generalization capabilities. Previous work focuses on retrieving prototype sentences for the provided concepts to assist generation. They first use a sparse retriever to retrieve candidate sentences, then re-rank the candidates with a ranker. However, the candidates returned by their ranker may not be the most relevant sentences, since the ranker treats all candidates equally without considering their relevance to the reference sentences of the given concepts. Another problem is that re-ranking is very expensive, but only using retrievers will seriously degrade the performance of their generation models. To solve these problems, we propose the metric distillation rule to distill knowledge from the metric (e.g., BLEU) to the ranker. We further transfer the critical knowledge summarized by the distilled ranker to the retriever. In this way, the relevance scores of candidate sentences predicted by the ranker and retriever will be more consistent with their quality measured by the metric. Experimental results on the CommonGen benchmark verify the effectiveness of our proposed method: (1) Our generation model with the distilled ranker achieves a new state-of-the-art result. (2) Our generation model with the distilled retriever even surpasses the previous SOTA.
• Abstract（参考訳）: Commonsense生成は、与えられた概念の下で日々のシーンを記述する現実的な文を生成することを目的としており、それは非常に難しい。 以前の研究は、生成を支援するために提供された概念のプロトタイプ文の検索に焦点を当てていた。 彼らはまずスパースレトリバーを使用して候補文を検索し、次にランク付けした候補をランク付けする。 しかし、ランク付け者が返した候補者は、与えられた概念の参照文との関連性を考慮せずに全ての候補者を平等に扱うため、最も関係のある文ではないかもしれない。 もう1つの問題は、再ランク付けは非常に高価であるが、レトリバーを使用するだけで、生成モデルの性能が著しく低下することである。 これらの問題を解決するために、計量(例えばBLEU)からランクアーへの知識を蒸留するための計量蒸留則を提案する。 さらに,蒸留ランカによって要約された臨界知識を検索者に転送する。 このようにして、ランクと検索者によって予測される候補文の関連スコアは、計量によって測定される品質とより整合する。 提案手法の有効性をCommonGenベンチマークで検証した結果, 1) 蒸留ローダを用いた生成モデルにより, 新たな最先端結果が得られた。 2) 蒸留回収器を用いた生成モデルは, 従来のSOTAを上回ります。

関連論文リスト

• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• LED: Lexicon-Enlightened Dense Retriever for Large-Scale Retrieval [68.85686621130111]
  そこで本研究では,高密度なレトリバーをレキシコン認識表現モデルに整合させることを提案する。 提案手法を3つの公開ベンチマークで評価した結果,教師と同等のレキシコン・アウェア・レトリバーにより,提案手法が一貫した,重要な改善をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-29T15:09:28Z)
• Towards Robust Ranker for Text Retrieval [83.15191578888188]
  ローダは、デファクトの'retrieval & rerank'パイプラインで必須の役割を果たす。 ローダは、デファクトの'retrieval & rerank'パイプラインで必須の役割を果たす。
  論文  参考訳（メタデータ） (2022-06-16T10:27:46Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)
• Retrieval Enhanced Model for Commonsense Generation [27.808363395849536]
  本稿では,コモンセンス生成のための事前学習と微調整の両方を強化するために,検索手法を用いた新しいフレームワークを提案する。 我々は、概念マッチングによりプロトタイプ文候補を検索し、補助入力として使用する。 提案手法は, 大規模CommonGenベンチマークを用いて, 最新の成果を実証する。
  論文  参考訳（メタデータ） (2021-05-24T09:49:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。