論文の概要: Plug-and-Play Adaptation for Continuously-updated QA
- arxiv url: http://arxiv.org/abs/2204.12785v1
- Date: Wed, 27 Apr 2022 09:11:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-28 20:43:00.929914
- Title: Plug-and-Play Adaptation for Continuously-updated QA
- Title(参考訳): 連続更新QAのためのプラグアンドプレイ適応
- Authors: Kyungjae Lee, Wookje Han, Seung-won Hwang, Hwaran Lee, Joonsuk Park,
Sang-Woo Lee
- Abstract要約: 言語モデル(LM)は暗黙の知識ベース(KB)として大きな可能性を示している
実用上、LMの知識を定期的に更新する必要がある。
本稿では,LM に対して大規模更新を行う新しいタスクである連続更新 QA を提案する。
- 参考スコア(独自算出の注目度): 21.665681980293137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models (LMs) have shown great potential as implicit knowledge bases
(KBs). And for their practical use, knowledge in LMs need to be updated
periodically. However, existing tasks to assess LMs' efficacy as KBs do not
adequately consider multiple large-scale updates. To this end, we first propose
a novel task--Continuously-updated QA (CuQA)--in which multiple large-scale
updates are made to LMs, and the performance is measured with respect to the
success in adding and updating knowledge while retaining existing knowledge. We
then present LMs with plug-in modules that effectively handle the updates.
Experiments conducted on zsRE QA and NQ datasets show that our method
outperforms existing approaches. We find that our method is 4x more effective
in terms of updates/forgets ratio, compared to a fine-tuning baseline.
- Abstract(参考訳): 言語モデル(LM)は暗黙の知識ベース(KB)として大きな可能性を示している。
実際に使うためには、LMの知識を定期的に更新する必要がある。
しかし、kbsとしてlmsの有効性を評価する既存のタスクは、複数の大規模な更新を適切に考慮していない。
この目的のために,我々はまず,lmsに複数の大規模更新を行うタスク連続更新qa(cuqa)を提案し,既存の知識を保ちながら知識の追加と更新を成功させる上で,その性能を測定する。
次に、更新を効果的に処理するプラグインモジュールをLMに提示する。
zsRE QAおよびNQデータセットを用いた実験により,本手法が既存手法より優れていることが示された。
提案手法は,細調整ベースラインに比べて,更新/忘れ率の点で4倍効率が高いことがわかった。
関連論文リスト
- Overcoming Generic Knowledge Loss with Selective Parameter Update [52.69948146218189]
基礎モデルを継続的に更新する新しい手法を提案する。
すべてのパラメータを均等に更新する代わりに、学習しているタスクに関連するパラメータのスパースセットにアップデートをローカライズします。
提案手法は,学習済みのタスクの精度を最大7%向上すると同時に,学習前知識を0.9%減少させることなく,代表制御セットの精度を低下させる。
論文 参考訳(メタデータ) (2023-08-23T22:55:45Z) - Propagating Knowledge Updates to LMs Through Distillation [97.3628651636153]
文脈に基づくアプローチは、エンティティに関する知識を付与し、その知識を広めてより広範な推論を可能にすることができることを示す。
実験により,本手法は,微調整や他の勾配に基づく知識編集手法よりも,知識更新の伝播に有効であることが実証された。
論文 参考訳(メタデータ) (2023-06-15T17:39:50Z) - Information Association for Language Model Updating by Mitigating
LM-Logical Discrepancy [68.31760483418901]
大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。
知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。
これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
論文 参考訳(メタデータ) (2023-05-29T19:48:37Z) - Make a Choice! Knowledge Base Question Answering with In-Context
Learning [1.7827767384590838]
知識ベースに対する質問応答(KBQA)は、与えられた知識ベース(KB)でファクトイドな質問に答えることを目的としている。
KBの大規模化のため、注釈付きデータはKB内のすべてのファクトスキーマをカバーすることは不可能である。
ICL ベースの多重選択による KBQA 手法に LLM の少数ショット機能を組み込んだフレームワークである McL-KBQA を提案する。
論文 参考訳(メタデータ) (2023-05-23T11:56:03Z) - Long-Tailed Question Answering in an Open World [46.67715607552547]
我々は、Long-Tailed QA (OLTQA) を、長い尾の分散データから学習するものとして定義する。
OLTQAモデルを提案し,頭,尾,目立たないタスク間の知識共有を促進する。
大規模なOLTQAデータセットでは、我々のモデルは一貫して最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2023-05-11T04:28:58Z) - Can LMs Learn New Entities from Descriptions? Challenges in Propagating
Injected Knowledge [72.63368052592004]
我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。
既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。
しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
論文 参考訳(メタデータ) (2023-05-02T17:59:46Z) - When Not to Trust Language Models: Investigating Effectiveness of
Parametric and Non-Parametric Memories [58.3421305091187]
本稿では,事実知識を記憶する上でのLMの強みと限界を理解することを目的とする。
LMは、あまり一般的でない事実知識に苦しむと同時に、長期にわたる事実知識の記憶力向上に失敗する。
我々は、必要時にのみ非パラメトリックメモリを検索する、強力かつ効率的な検索拡張LMの簡易かつ効果的な手法を考案する。
論文 参考訳(メタデータ) (2022-12-20T18:30:15Z) - StreamingQA: A Benchmark for Adaptation to New Knowledge over Time in
Question Answering Models [31.43391633383255]
提案する大規模データセットであるStreamingQAを構築した。
プレトレーニングでは見られない新しい記事を読むことで、四半期毎にモデルを評価します。
我々は,大惨な忘れを回避しつつ,パラメトリックモデルをフルリトレーニングなしで更新可能であることを示す。
論文 参考訳(メタデータ) (2022-05-23T15:33:41Z) - Simple and Efficient ways to Improve REALM [24.182528719468227]
REALM(Guu et al., 2020)は、下流QA効率を改善するための事前トレーニングに依存するエンドツーエンドの高密度検索システムです。
Denseは、人気のあるスパース検索手法を超越して、Open Domain QAの関連文書の検索に有効であることが示されている。
論文 参考訳(メタデータ) (2021-04-18T04:32:33Z) - Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。
既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。
パターン認識型メタラーニング手法を提案する。
論文 参考訳(メタデータ) (2020-10-19T08:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。