論文の概要: Online Continual Knowledge Learning for Language Models
- arxiv url: http://arxiv.org/abs/2311.09632v1
- Date: Thu, 16 Nov 2023 07:31:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 15:59:35.220070
- Title: Online Continual Knowledge Learning for Language Models
- Title(参考訳): 言語モデルのためのオンライン連続的知識学習
- Authors: Yuhao Wu and Tongjun Shi and Karthick Sharma and Chun Wei Seah and
Shuhao Zhang
- Abstract要約: 大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。
オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
- 参考スコア(独自算出の注目度): 3.654507524092343
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) serve as repositories of extensive world
knowledge, enabling them to perform tasks such as question-answering and
fact-checking. However, this knowledge can become obsolete as global contexts
change. In this paper, we introduce a novel problem in the realm of continual
learning: Online Continual Knowledge Learning (OCKL). This problem formulation
aims to manage the dynamic nature of world knowledge in LMs under real-time
constraints. We propose a new benchmark and evaluation metric designed to
measure both the rate of new knowledge acquisition and the retention of
previously learned knowledge. Our empirical evaluation, conducted using a
variety of state-of-the-art methods, establishes robust base-lines for OCKL.
Our results reveal that existing continual learning approaches are
unfortunately insufficient for tackling the unique challenges posed by OCKL. We
identify key factors that influence the trade-off between knowledge acquisition
and retention, thereby advancing our understanding of how to train LMs in a
continually evolving environment.
- Abstract(参考訳): 大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答や事実チェックなどのタスクを実行できる。
しかし、この知識はグローバルコンテキストが変化するにつれて時代遅れになる可能性がある。
本稿では,連続学習の領域における新しい問題であるオンライン連続学習(ockl)を提案する。
この問題の定式化は,実時間制約下での世界知識の動的性質を管理することを目的としている。
本研究では,新しい知識獲得率と学習済み知識の保持率の両方を測定するための新しいベンチマークおよび評価指標を提案する。
我々は,様々な最先端手法を用いて経験的評価を行い,ocklのロバストなベースラインを確立する。
今回の結果から,ocklが抱えるユニークな課題に取り組む上で,既存の連続学習アプローチでは不十分であることが分かりました。
我々は,知識獲得と保持のトレードオフに影響を与える重要な要因を特定し,継続的な発展環境下でのLMの訓練方法の理解を深める。
関連論文リスト
- KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [86.72825837235344]
大規模言語モデル(LLM)の知識認識を明確かつ暗黙的に改善する知識認識ファインタニング(KnowTuning)手法を提案する。
我々は、LLMを訓練し、答えにおける知識の3倍を明示的に識別するために、明示的な知識認識生成ステージを考案する。
また,LLMを学習し,信頼できない知識と信頼できない知識を暗黙的に区別するために,暗黙的な知識認識比較ステージを提案する。
論文 参考訳(メタデータ) (2024-02-17T02:54:32Z) - Federated Learning with New Knowledge: Fundamentals, Advances, and
Futures [69.8830772538421]
本稿では,フェデレートラーニング(FL)における新しい知識の源泉を体系的に定義する。
本研究は,新たな知識の到来時期と形態が定式化過程に及ぼす影響について検討する。
シナリオの設定,効率,セキュリティなど,さまざまな要因を考慮し,FLの今後の方向性を新たな知識で論じる。
論文 参考訳(メタデータ) (2024-02-03T21:29:31Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [83.73538305784763]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges [11.228131492745842]
大規模言語モデル(LLM)は、自然言語処理における新しい研究パラダイムを刺激している。
知識に基づく質問応答と推論の優れた能力にもかかわらず、欠陥や有害な知識を保持する可能性は、悪意のあるアプリケーションにリスクをもたらす。
機械学習の類似研究から派生した知識アンラーニングは、この問題に対処するための有望な道を示す。
論文 参考訳(メタデータ) (2023-11-27T12:37:51Z) - ALCUNA: Large Language Models Meet New Knowledge [48.30457202012987]
本稿では,既存のエンティティ属性と関係を変化させることで,新たな知識を生み出すアプローチを提案する。
KnowGenでは、知識理解、分化、関連性におけるLLMの能力を評価するために、ALCUNAというベンチマークを導入する。
また、エンティティの類似性がモデルにおけるエンティティ知識の理解とコンテキストエンティティの影響に与える影響についても検討する。
論文 参考訳(メタデータ) (2023-10-23T11:40:05Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - The Life Cycle of Knowledge in Big Language Models: A Survey [39.955688635216056]
事前訓練された言語モデル(PLM)は、言語モデルによって知識を取得、維持、更新、利用する方法に大きな注目を集めている。
膨大な量の関連する研究にもかかわらず、学習、チューニング、アプリケーションプロセスを通して、言語モデル内で知識がどのように循環するかについての統一された見解はいまだに存在しない。
我々は, PLMにおける知識のライフサイクルを5つの臨界期間に分割し, 構築, 維持, 使用の際の知識の循環について検討することによって, PLMを知識ベースシステムとして再考する。
論文 参考訳(メタデータ) (2023-03-14T03:49:22Z) - Towards Continual Knowledge Learning of Language Models [11.000501711652829]
大規模言語モデル(LM)は、膨大な量のWebコーパスで事前訓練を行う際に、そのパラメータで世界の知識を符号化することが知られている。
実世界のシナリオでは、LMに格納されている世界知識は、世界が変化するにつれて急速に時代遅れになる。
継続知識学習(CKL)と呼ばれる新しい継続学習(CL)問題を定式化する。
論文 参考訳(メタデータ) (2021-10-07T07:00:57Z) - Incremental Knowledge Based Question Answering [52.041815783025186]
人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。
具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。
包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
論文 参考訳(メタデータ) (2021-01-18T09:03:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。