論文の概要: Passage-Mask: A Learnable Regularization Strategy for Retriever-Reader Models

• arxiv url: http://arxiv.org/abs/2211.00915v1
• Date: Wed, 2 Nov 2022 06:39:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 11:59:33.964794
• Title: Passage-Mask: A Learnable Regularization Strategy for Retriever-Reader Models
• Title（参考訳）: Passage-Mask:Retriever-Readerモデルのための学習可能な正規化戦略
• Authors: Shujian Zhang, Chengyue Gong, Xingchao Liu
• Abstract要約: Retriever-Readerモデルは、オープン質問応答や対話会話など、多くの異なるNLPタスク間での競合的なパフォーマンスを実現する。 学習可能なパスマスク機構を導入し、トップランクの検索パスからの影響を減らし、モデルが過度に適合しないようにする。
• 参考スコア（独自算出の注目度）: 36.58955176223759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retriever-reader models achieve competitive performance across many different NLP tasks such as open question answering and dialogue conversations. In this work, we notice these models easily overfit the top-rank retrieval passages and standard training fails to reason over the entire retrieval passages. We introduce a learnable passage mask mechanism which desensitizes the impact from the top-rank retrieval passages and prevents the model from overfitting. Controlling the gradient variance with fewer mask candidates and selecting the mask candidates with one-shot bi-level optimization, our learnable regularization strategy enforces the answer generation to focus on the entire retrieval passages. Experiments on different tasks across open question answering, dialogue conversation, and fact verification show that our method consistently outperforms its baselines. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many NLP tasks.
• Abstract（参考訳）: Retriever-Readerモデルは、オープン質問応答や対話会話など、多くの異なるNLPタスク間での競合的なパフォーマンスを実現する。 本研究では,これらのモデルが上位検索経路を過小評価し易いことに気付き,標準訓練では検索通路全体を推論できない。 学習可能なパスマスク機構を導入し,トップランク検索経路からの影響を軽減し,モデルが過度に適合することを防止する。 マスク候補の少ない勾配分散を制御し、一発二段階最適化でマスク候補を選択することで、学習可能な正規化戦略は、回答生成を検索経路全体に集中させる。 オープンな質問応答,対話会話,事実検証の異なるタスクに対する実験は,我々の手法がベースラインを一貫して上回ることを示す。 大規模な実験とアブレーション研究により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。

関連論文リスト

• Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models [11.716595438057997]
  オープンドメイン質問応答(PSPT)における再ランク付けのためのパス固有プロンプトチューニングを提案する。 PSPTは、学習可能なパス固有のソフトプロンプトを微調整するパラメータ効率の手法である。 我々は,Llama-2-chat-7Bモデルを用いた3つの公開領域質問応答データセットの広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-31T07:43:42Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Unsupervised Candidate Answer Extraction through Differentiable Masker-Reconstructor Model [21.667471025804936]
  本稿では,異なるMasker-Reconstructor(DMR)モデルを用いて,コンテキストパスの固有構造を利用する,教師なし候補解抽出手法を提案する。 我々は、教師付きおよび教師なし候補回答抽出手法の総合的なセットをベンチマークする。 本稿では,DMRモデルの有効性を,教師なし手法よりも優れた性能を示し,教師なし手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-10-19T19:07:08Z)
• Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
  検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。 本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2023-08-24T05:26:54Z)
• Masked Siamese ConvNets [17.337143119620755]
  自己教師付き学習は、様々な視覚ベンチマークにおいて教師付き手法よりも優れた性能を示している。 Masked siamese ネットワークは特定の帰納バイアスを必要とし、視覚変換器でしか動作しない。 この研究は、ConvNetsによるマスク付きシアムネットワークの問題点を実証的に研究する。
  論文  参考訳（メタデータ） (2022-06-15T17:52:23Z)
• KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering [28.18555591429343]
  我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。 PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。 提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-06T08:31:02Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• Joint Passage Ranking for Diverse Multi-Answer Retrieval [56.43443577137929]
  質問に対する複数の異なる回答をカバーするために、パスの取得を必要とする探索不足の問題であるマルチアンサー検索について検討する。 モデルが別の有効な答えを逃す費用で同じ答えを含む通路を繰り返すべきではないので、このタスクは、検索された通路の共同モデリングを必要とします。 本稿では,再順位に着目したジョイントパス検索モデルであるJPRを紹介する。 回収された通路の合同確率をモデル化するために、JPRは、新しい訓練および復号アルゴリズムを備えた通路のシーケンスを選択する自動回帰リタイナを利用する。
  論文  参考訳（メタデータ） (2021-04-17T04:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。