論文の概要: Online Continual Knowledge Learning for Language Models

• arxiv url: http://arxiv.org/abs/2311.09632v1
• Date: Thu, 16 Nov 2023 07:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 15:59:35.220070
• Title: Online Continual Knowledge Learning for Language Models
• Title（参考訳）: 言語モデルのためのオンライン連続的知識学習
• Authors: Yuhao Wu and Tongjun Shi and Karthick Sharma and Chun Wei Seah and Shuhao Zhang
• Abstract要約: 大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。 オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
• 参考スコア（独自算出の注目度）: 3.654507524092343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) serve as repositories of extensive world knowledge, enabling them to perform tasks such as question-answering and fact-checking. However, this knowledge can become obsolete as global contexts change. In this paper, we introduce a novel problem in the realm of continual learning: Online Continual Knowledge Learning (OCKL). This problem formulation aims to manage the dynamic nature of world knowledge in LMs under real-time constraints. We propose a new benchmark and evaluation metric designed to measure both the rate of new knowledge acquisition and the retention of previously learned knowledge. Our empirical evaluation, conducted using a variety of state-of-the-art methods, establishes robust base-lines for OCKL. Our results reveal that existing continual learning approaches are unfortunately insufficient for tackling the unique challenges posed by OCKL. We identify key factors that influence the trade-off between knowledge acquisition and retention, thereby advancing our understanding of how to train LMs in a continually evolving environment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答や事実チェックなどのタスクを実行できる。 しかし、この知識はグローバルコンテキストが変化するにつれて時代遅れになる可能性がある。 本稿では,連続学習の領域における新しい問題であるオンライン連続学習(ockl)を提案する。 この問題の定式化は,実時間制約下での世界知識の動的性質を管理することを目的としている。 本研究では,新しい知識獲得率と学習済み知識の保持率の両方を測定するための新しいベンチマークおよび評価指標を提案する。 我々は,様々な最先端手法を用いて経験的評価を行い,ocklのロバストなベースラインを確立する。 今回の結果から,ocklが抱えるユニークな課題に取り組む上で,既存の連続学習アプローチでは不十分であることが分かりました。 我々は,知識獲得と保持のトレードオフに影響を与える重要な要因を特定し,継続的な発展環境下でのLMの訓練方法の理解を深める。

関連論文リスト

• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• GrowOVER: How Can LLMs Adapt to Growing Real-World Knowledge? [36.987716816134984]
  本稿では,更新の連続サイクルを経たGrowOVER-QAとGrowOVER-Dialogue,動的オープンドメインQA,ダイアログベンチマークを提案する。 本研究は,検索強化言語モデル(RaLM)が,まだトレーニングされていない知識や最近更新されていない知識に悩まされていることを示唆している。 本稿では,新たな検索対話型言語モデルフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-09T01:16:04Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges [11.228131492745842]
  大規模言語モデル(LLM)は、自然言語処理における新しい研究パラダイムを刺激している。 知識に基づく質問応答と推論の優れた能力にもかかわらず、欠陥や有害な知識を保持する可能性は、悪意のあるアプリケーションにリスクをもたらす。 機械学習の類似研究から派生した知識アンラーニングは、この問題に対処するための有望な道を示す。
  論文  参考訳（メタデータ） (2023-11-27T12:37:51Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• The Life Cycle of Knowledge in Big Language Models: A Survey [39.955688635216056]
  事前訓練された言語モデル(PLM)は、言語モデルによって知識を取得、維持、更新、利用する方法に大きな注目を集めている。 膨大な量の関連する研究にもかかわらず、学習、チューニング、アプリケーションプロセスを通して、言語モデル内で知識がどのように循環するかについての統一された見解はいまだに存在しない。 我々は, PLMにおける知識のライフサイクルを5つの臨界期間に分割し, 構築, 維持, 使用の際の知識の循環について検討することによって, PLMを知識ベースシステムとして再考する。
  論文  参考訳（メタデータ） (2023-03-14T03:49:22Z)
• Towards Continual Knowledge Learning of Language Models [11.000501711652829]
  大規模言語モデル(LM)は、膨大な量のWebコーパスで事前訓練を行う際に、そのパラメータで世界の知識を符号化することが知られている。 実世界のシナリオでは、LMに格納されている世界知識は、世界が変化するにつれて急速に時代遅れになる。 継続知識学習(CKL)と呼ばれる新しい継続学習(CL)問題を定式化する。
  論文  参考訳（メタデータ） (2021-10-07T07:00:57Z)
• Incremental Knowledge Based Question Answering [52.041815783025186]
  人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。 具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。 包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
  論文  参考訳（メタデータ） (2021-01-18T09:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。