論文の概要: CO3: Low-resource Contrastive Co-training for Generative Conversational Query Rewrite

• arxiv url: http://arxiv.org/abs/2403.11873v1
• Date: Mon, 18 Mar 2024 15:26:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 19:50:22.615596
• Title: CO3: Low-resource Contrastive Co-training for Generative Conversational Query Rewrite
• Title（参考訳）: CO3: 生成的対話型クエリ書き換えのための低リソースコントラスト協調トレーニング
• Authors: Yifei Yuan, Chen Shi, Runze Wang, Liyi Chen, Renjun Hu, Zengming Zhang, Feijun Jiang, Wai Lam,
• Abstract要約: 生成的クエリ書き換えは、会話履歴を用いて再構成されたクエリ書き換えを生成する。 これらの手法は固有のノイズに敏感であるのに対して、このタスクではショットラーニングが人気が高まっている。 ノイズと言語スタイルのシフトに頑健な低リソース生成型対話型クエリ書き換えについて検討する。
• 参考スコア（独自算出の注目度）: 37.90113105682004
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Generative query rewrite generates reconstructed query rewrites using the conversation history while rely heavily on gold rewrite pairs that are expensive to obtain. Recently, few-shot learning is gaining increasing popularity for this task, whereas these methods are sensitive to the inherent noise due to limited data size. Besides, both attempts face performance degradation when there exists language style shift between training and testing cases. To this end, we study low-resource generative conversational query rewrite that is robust to both noise and language style shift. The core idea is to utilize massive unlabeled data to make further improvements via a contrastive co-training paradigm. Specifically, we co-train two dual models (namely Rewriter and Simplifier) such that each of them provides extra guidance through pseudo-labeling for enhancing the other in an iterative manner. We also leverage contrastive learning with data augmentation, which enables our model pay more attention on the truly valuable information than the noise. Extensive experiments demonstrate the superiority of our model under both few-shot and zero-shot scenarios. We also verify the better generalization ability of our model when encountering language style shift.
• Abstract（参考訳）: 生成的クエリ書き直しは、会話履歴を用いて再構成されたクエリ書き直しを生成する。 近年,これらの手法は,データサイズに制限があるため固有のノイズに敏感であるのに対し,この課題に対して,少数ショット学習が人気が高まっている。 さらに、両方の試みは、トレーニングとテストケースの間に言語スタイルのシフトがある場合、パフォーマンスの低下に直面します。 そこで本研究では,ノイズや言語スタイルのシフトに対して頑健な,低リソースな生成的対話型クエリ書き換えについて検討する。 中心となる考え方は、大量のラベルのないデータを使用して、コントラッシブなコトレーニングパラダイムを通じてさらなる改善を行うことである。 具体的には、2つの双対モデル(RewriterとSimplifier)を共同でトレーニングし、それぞれが擬似ラベルによる追加ガイダンスを提供し、互いに反復的に拡張する。 また、データ拡張によるコントラスト学習を活用して、ノイズよりも真に価値のある情報にもっと注意を払うことができます。 大規模な実験は、少数ショットとゼロショットの両方のシナリオで、我々のモデルの優越性を実証する。 また、言語スタイルのシフトに遭遇する際のモデルのより優れた一般化能力を検証する。

関連論文リスト

• Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
  モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。 我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。 CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-06T06:30:17Z)
• Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
  クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。 提案手法は適応生成モデルを用いて画像のラベルを直接生成する。 Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
  論文  参考訳（メタデータ） (2024-03-27T09:21:07Z)
• Making Pre-trained Language Models Better Continual Few-Shot Relation Extractors [15.417833307088637]
  連射関係抽出(CFRE)は,新たな関係を連続的に学習するモデルを必要とする実践的問題である。 主な課題は、悲惨な忘れ物と過度に適合することである。 本稿では,事前学習した言語モデルの暗黙的能力を探るために,素早い学習を利用する。
  論文  参考訳（メタデータ） (2024-02-24T04:32:44Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Weigh Your Own Words: Improving Hate Speech Counter Narrative Generation via Attention Regularization [31.40751207207214]
  オンラインヘイトスピーチと戦うための最近の計算手法は、カウンターナラティブの自動生成を伴う。 本稿では, PLMの一般化機能を改善するために, 新たなアテンション正規化手法を提案する。 正規化されたモデルは、ほとんどの場合において最先端のアプローチよりも優れたカウンターナラティブを生み出す。
  論文  参考訳（メタデータ） (2023-09-05T15:27:22Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。