論文の概要: ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains

• arxiv url: http://arxiv.org/abs/2410.09870v1
• Date: Sun, 13 Oct 2024 15:08:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 04:23:08.646645
• Title: ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains
• Title（参考訳）: ChroKnowledge: 複数のドメインにおける言語モデルの時系列知識の公開
• Authors: Yein Park, Chanwoong Yoon, Jungwoo Park, Donghyeon Lee, Minbyul Jeong, Jaewoo Kang,
• Abstract要約: 提案するChroKnowledgeは,大規模言語モデルの非パラメトリック時系列知識を評価・更新するための新しいサンプリングベースフレームワークである。 我々のフレームワークは、生物医学領域と一般領域の両方において、タイムライン全体にわたる全体的な知識の更新に成功した。 我々は,ChroKnowPromptの時間的特性に基づく包括的分析を行い,本質的な時間的知識を引き出すための様々なモデルの可能性を検証する。
• 参考スコア（独自算出の注目度）: 19.428141279030527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have significantly impacted many aspects of our lives. However, assessing and ensuring their chronological knowledge remains challenging. Existing approaches fall short in addressing the accumulative nature of knowledge, often relying on a single time stamp. To overcome this, we introduce ChroKnowBench, a benchmark dataset designed to evaluate chronologically accumulated knowledge across three key aspects: multiple domains, time dependency, temporal state. Our benchmark distinguishes between knowledge that evolves (e.g., scientific discoveries, amended laws) and knowledge that remain constant (e.g., mathematical truths, commonsense facts). Building on this benchmark, we present ChroKnowledge (Chronological Categorization of Knowledge), a novel sampling-based framework for evaluating and updating LLMs' non-parametric chronological knowledge. Our evaluation shows: (1) The ability of eliciting temporal knowledge varies depending on the data format that model was trained on. (2) LLMs partially recall knowledge or show a cut-off at temporal boundaries rather than recalling all aspects of knowledge correctly. Thus, we apply our ChroKnowPrompt, an in-depth prompting to elicit chronological knowledge by traversing step-by-step through the surrounding time spans. We observe that our framework successfully updates the overall knowledge across the entire timeline in both the biomedical domain (+11.9%) and the general domain (+2.8%), demonstrating its effectiveness in refining temporal knowledge. This non-parametric approach also enables knowledge updates not only in open-source models but also in proprietary LLMs, ensuring comprehensive applicability across model types. We perform a comprehensive analysis based on temporal characteristics of ChroKnowPrompt and validate the potential of various models to elicit intrinsic temporal knowledge through our method.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、私たちの生活の多くの側面に大きな影響を与えています。 しかし、年代学的な知識の評価と確保は依然として困難である。 既存のアプローチは、知識の累積的な性質に対処するのに不足しており、しばしば1つのタイムスタンプに依存している。 この問題を解決するために、複数のドメイン、時間依存性、時間状態の3つの重要な側面で時系列的に蓄積された知識を評価するために設計されたベンチマークデータセットであるChroKnowBenchを紹介した。 我々のベンチマークは、進化する知識(例えば、科学的発見、修正された法則)と一定である知識(例えば、数学的真実、常識的な事実)を区別する。 このベンチマークに基づいて、LLMの非パラメトリック時系列知識を評価し、更新するための新しいサンプリングベースのフレームワークであるChroKnowledge(Chronological Categorization of Knowledge)を紹介する。 1) 時間的知識を抽出する能力は,モデルが訓練したデータ形式によって異なる。 2) LLMは知識のすべての側面を正しく思い出すのではなく,知識を部分的に思い出すか,時間境界で切り離すかを示す。 そこで,我々のChroKnowPromptを応用し,周囲の時間帯をステップバイステップで横断することで,時系列的知識を引き出す方法を提案する。 本フレームワークは,生物医学領域 (+11.9%) と一般領域 (+2.8%) の両方において, 時間的知識の精製に有効であることを示す。 この非パラメトリックアプローチは、オープンソースモデルだけでなく、プロプライエタリなLLMでも知識更新を可能にし、モデルタイプ全体にわたる包括的な適用性を保証する。 我々は,ChroKnowPromptの時間的特性に基づく包括的解析を行い,本手法による内在的時間的知識を引き出す様々なモデルの可能性を検証する。

関連論文リスト

• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• When Context Leads but Parametric Memory Follows in Large Language Models [4.567122178196834]
  大規模言語モデル (LLM) は多様な知識源の活用において顕著な進歩を見せている。 本研究では,9つのLLMがオープンな質問に対して,局所的な文脈とグローバルなパラメータの知識を割り当てる方法について検討した。
  論文  参考訳（メタデータ） (2024-09-13T00:03:19Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Online Continual Knowledge Learning for Language Models [3.654507524092343]
  大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。 オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T07:31:03Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• The Life Cycle of Knowledge in Big Language Models: A Survey [39.955688635216056]
  事前訓練された言語モデル(PLM)は、言語モデルによって知識を取得、維持、更新、利用する方法に大きな注目を集めている。 膨大な量の関連する研究にもかかわらず、学習、チューニング、アプリケーションプロセスを通して、言語モデル内で知識がどのように循環するかについての統一された見解はいまだに存在しない。 我々は, PLMにおける知識のライフサイクルを5つの臨界期間に分割し, 構築, 維持, 使用の際の知識の循環について検討することによって, PLMを知識ベースシステムとして再考する。
  論文  参考訳（メタデータ） (2023-03-14T03:49:22Z)
• Knowledge-augmented Deep Learning and Its Applications: A Survey [60.221292040710885]
  知識強化ディープラーニング(KADL)は、ドメイン知識を特定し、それをデータ効率、一般化可能、解釈可能なディープラーニングのためのディープモデルに統合することを目的としている。 本調査は,既存の研究成果を補足し,知識強化深層学習の一般分野における鳥眼研究の展望を提供する。
  論文  参考訳（メタデータ） (2022-11-30T03:44:15Z)
• Towards Continual Knowledge Learning of Language Models [11.000501711652829]
  大規模言語モデル(LM)は、膨大な量のWebコーパスで事前訓練を行う際に、そのパラメータで世界の知識を符号化することが知られている。 実世界のシナリオでは、LMに格納されている世界知識は、世界が変化するにつれて急速に時代遅れになる。 継続知識学習(CKL)と呼ばれる新しい継続学習(CL)問題を定式化する。
  論文  参考訳（メタデータ） (2021-10-07T07:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。