論文の概要: Learning to Generalize for Cross-domain QA

• arxiv url: http://arxiv.org/abs/2305.08208v2
• Date: Thu, 18 May 2023 10:46:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 10:45:24.787423
• Title: Learning to Generalize for Cross-domain QA
• Title（参考訳）: クロスドメインqaを一般化する学習
• Authors: Yingjie Niu, Linyi Yang, Ruihai Dong, Yue Zhang
• Abstract要約: 本稿では,提案手法と線形探索,微調整を併用した新しい手法を提案する。 本手法は, 生成モデルと識別モデルの両方の一般化能力の向上に有効であることが理論的, 実験的に証明されている。 提案手法は,任意の事前学習モデルに容易に統合可能であり,探索済みのクロスドメインQAタスクに対して有望なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 11.627572092891226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There have been growing concerns regarding the out-of-domain generalization ability of natural language processing (NLP) models, particularly in question-answering (QA) tasks. Current synthesized data augmentation methods for QA are hampered by increased training costs. To address this issue, we propose a novel approach that combines prompting methods and linear probing then fine-tuning strategy, which does not entail additional cost. Our method has been theoretically and empirically shown to be effective in enhancing the generalization ability of both generative and discriminative models. Our approach outperforms state-of-the-art baselines, with an average increase in F1 score of 4.5%-7.9%. Furthermore, our method can be easily integrated into any pre-trained models and offers a promising solution to the under-explored cross-domain QA task. We release our source code at GitHub*.
• Abstract（参考訳）: 自然言語処理(NLP)モデルのドメイン外一般化能力,特に質問応答(QA)タスクに対する懸念が高まっている。 トレーニングコストの増大により、QAの現在の合成データ拡張方法が妨げられる。 この問題に対処するため,提案手法と線形探索と微調整戦略を組み合わせた新しい手法を提案するが,追加コストは伴わない。 本手法は, 生成モデルと識別モデルの両方の一般化能力の向上に有効であることが理論的, 実験的に証明されている。 我々のアプローチは最先端のベースラインを上回り、F1のスコアは平均4.5%-7.9%上昇した。 さらに,任意の事前学習モデルに容易に統合でき,未検討のクロスドメインqaタスクに対して有望な解決策を提供する。 ソースコードはGitHub*で公開しています。

関連論文リスト

• Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
  価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。 現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。 本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-07T21:36:52Z)
• Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology [0.34530027457862006]
  従来の研究によると、既存のモデルは、答えがつかない質問を含むEQAデータセットでトレーニングされた場合、ロバスト性の著しい欠如を示している。 提案手法は,EQA問題に対する新たな損失関数を含み,多数のEQAデータセットに存在する暗黙の仮定に挑戦する。 本モデルでは,2種類の敵攻撃に対するロバスト性が有意に向上し,デフォルトモデルに比べて性能は3分の1程度低下した。
  論文  参考訳（メタデータ） (2024-09-29T20:35:57Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)
• Multi-Task Learning for Routing Problem with Cross-Problem Zero-Shot Generalization [18.298695520665348]
  車両ルーティング問題(VRP)は多くの現実世界のアプリケーションで見られる。 本研究では,クロスプロブレム一般化という重要な課題に取り組むための最初の試みを行う。 提案モデルでは、ゼロショットの一般化方式で、見当たらない属性の組み合わせでVRPを解くことができる。
  論文  参考訳（メタデータ） (2024-02-23T13:25:23Z)
• Attention-guided Generative Models for Extractive Question Answering [17.476450946279037]
  近年,事前学習型生成系列列列モデル (seq2seq) は質問応答において大きな成功を収めている。 本稿では,デコーダのクロスアテンションパターンを利用して,生成モデルから抽出された回答を抽出する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T23:02:35Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• UnitedQA: A Hybrid Approach for Open Domain Question Answering [70.54286377610953]
  最近の訓練済みのニューラル言語モデルに基づいて,抽出的および生成的読取能力を高めるために,新しい手法を適用した。 私たちのアプローチは、それぞれNaturalQuestionsとTriviaQAと正確な一致で、以前の最先端のモデルを3.3と2.7ポイント上回る。
  論文  参考訳（メタデータ） (2021-01-01T06:36:16Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)
• Logic-Guided Data Augmentation and Regularization for Consistent Question Answering [55.05667583529711]
  本稿では,比較質問に対する応答の精度と整合性を改善する問題に対処する。 提案手法は論理的および言語的知識を利用してラベル付きトレーニングデータを増強し,一貫性に基づく正規化器を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2020-04-21T17:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。