論文の概要: Multi-Task Retrieval-Augmented Text Generation with Relevance Sampling

• arxiv url: http://arxiv.org/abs/2207.03030v1
• Date: Thu, 7 Jul 2022 00:57:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 14:03:14.808529
• Title: Multi-Task Retrieval-Augmented Text Generation with Relevance Sampling
• Title（参考訳）: 関連サンプリングを用いたマルチタスク検索型テキスト生成
• Authors: Sebastian Hofst\"atter, Jiecao Chen, Karthik Raman, Hamed Zamani
• Abstract要約: 知識集約型タスクに対する検索強化生成モデルのマルチタスク学習について検討する。 我々は、ペアが知識ベースで答えられるかどうかに関わらず、関連ラベルに対する信頼のしきい値を通じてトレーニング例をフィルタリングする。
• 参考スコア（独自算出の注目度）: 19.17759446168802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies multi-task training of retrieval-augmented generation models for knowledge-intensive tasks. We propose to clean the training set by utilizing a distinct property of knowledge-intensive generation: The connection of query-answer pairs to items in the knowledge base. We filter training examples via a threshold of confidence on the relevance labels, whether a pair is answerable by the knowledge base or not. We train a single Fusion-in-Decoder (FiD) generator on seven combined tasks of the KILT benchmark. The experimental results suggest that our simple yet effective approach substantially improves competitive baselines on two strongly imbalanced tasks; and shows either smaller improvements or no significant regression on the remaining tasks. Furthermore, we demonstrate our multi-task training with relevance label sampling scales well with increased model capacity and achieves state-of-the-art results in five out of seven KILT tasks.
• Abstract（参考訳）: 本稿では,知識集約型タスクに対する検索強化生成モデルのマルチタスク学習について述べる。 本稿では,知識集約型生成の異なる特性である問合せ-回答ペアと知識ベース項目との接続を利用して,学習セットのクリーン化を提案する。 我々は、ペアが知識ベースで答えられるかどうかに関わらず、関連ラベルに対する信頼のしきい値を通じてトレーニング例をフィルタリングする。 KILTベンチマークの7つの組み合わせタスクに対して、単一のFusion-in-Decoder(FiD)ジェネレータをトレーニングする。 実験結果から,単純かつ効果的なアプローチは,2つの強い不均衡タスクの競合ベースラインを大幅に改善することが示唆された。 さらに,モデルのキャパシティ向上にともなう適合ラベルサンプリングスケールを用いたマルチタスクトレーニングを実演し,7項目中5タスクで最新の結果を得た。

関連論文リスト

• The Power of Active Multi-Task Learning in Reinforcement Learning from Human Feedback [12.388205905012423]
  人間のフィードバックからの強化学習は、大きな言語モデルの性能向上に寄与している。 我々は、RLHFをコンテキストデュエルバンディット問題として定式化し、共通の線形表現を仮定する。 我々は、$varepsilon-$optimalを達成するために、ソースタスクのサンプルの複雑さを著しく低減することができることを証明した。
  論文  参考訳（メタデータ） (2024-05-18T08:29:15Z)
• Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
  本稿では,反復的な検索・生成協調フレームワークを提案する。 シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
  論文  参考訳（メタデータ） (2023-10-08T12:50:57Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Evidentiality-guided Generation for Knowledge-Intensive NLP Tasks [59.761411682238645]
  Retrieval-augmented Generation Modelは、多くの知識集約型NLPタスクにまたがって最先端のパフォーマンスを示している。 生成器の訓練に、パスが出力をサポートするための正しい証拠を含むか否かに関わらず、パスの明快さを組み込む方法を導入する。
  論文  参考訳（メタデータ） (2021-12-16T08:18:47Z)
• STraTA: Self-Training with Task Augmentation for Better Few-shot Learning [77.04780470527432]
  タスク拡張による自己学習のためのSTraTAを提案する。 実験の結果,STraTAは12個のベンチマークでサンプル効率を大幅に向上できることがわかった。 分析の結果,タスク強化と自己学習は相補的かつ独立的に有効であることが判明した。
  論文  参考訳（メタデータ） (2021-09-13T19:14:01Z)
• Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
  すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。 タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。 理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-05-02T23:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。