論文の概要: Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

• arxiv url: http://arxiv.org/abs/2603.09654v1
• Date: Tue, 10 Mar 2026 13:30:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.337562
• Title: Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025
• Title（参考訳）: LLMのパラメトリックとコンテキスト知識の利用に関する理解: ECIR 2025の基調講演
• Authors: Isabelle Augenstein,
• Abstract要約: 言語モデル(LM)は、トレーニングプロセスからパラメトリック知識を取得し、それを重みに埋め込む。 知識集約型言語理解タスクにこれらの言語モデルを使用する場合、LMは関連するコンテキストを統合する必要がある。 コンフリクト知識は、メモリ内コンフリクトと呼ばれるLMのパラメータにもすでに存在する。
• 参考スコア（独自算出の注目度）: 41.44725874619931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language Models (LMs) acquire parametric knowledge from their training process, embedding it within their weights. The increasing scalability of LMs, however, poses significant challenges for understanding a model's inner workings and further for updating or correcting this embedded knowledge without the significant cost of retraining. Moreover, when using these language models for knowledge-intensive language understanding tasks, LMs have to integrate relevant context, mitigating their inherent weaknesses, such as incomplete or outdated knowledge. Nevertheless, studies indicate that LMs often ignore the provided context as it can be in conflict with the pre-existing LM's memory learned during pre-training. Conflicting knowledge can also already be present in the LM's parameters, termed intra-memory conflict. This underscores the importance of understanding the interplay between how a language model uses its parametric knowledge and the retrieved contextual knowledge. In this talk, I will aim to shed light on this important issue by presenting our research on evaluating the knowledge present in LMs, diagnostic tests that can reveal knowledge conflicts, as well as on understanding the characteristics of successfully used contextual knowledge.
• Abstract（参考訳）: 言語モデル(LM)は、トレーニングプロセスからパラメトリック知識を取得し、それを重みに埋め込む。 しかし、LMのスケーラビリティの増大は、モデルの内部動作を理解する上で大きな課題を生じさせ、さらに組み込まれた知識の更新や修正を、再トレーニングのコストを伴わずに行う。 さらに、これらの言語モデルを知識集約型言語理解タスクに使用する場合、LMは関連するコンテキストを統合し、不完全または時代遅れの知識などの固有の弱点を軽減する必要がある。 それでも研究は、LMが提供された文脈を無視することがしばしばあり、事前学習中に学習された既存のLMの記憶と矛盾する可能性があることを示唆している。 コンフリクト知識は、メモリ内コンフリクトと呼ばれるLMのパラメータにもすでに存在する。 このことは、言語モデルがそのパラメトリック知識と検索された文脈知識との相互作用を理解することの重要性を浮き彫りにする。 本講演では, LMにおける知識の評価, 知識の矛盾を明らかにする診断試験, および, 有効な文脈知識の特性を理解することによって, この重要な課題を明らかにすることを目的としている。

関連論文リスト

• Where Knowledge Collides: A Mechanistic Study of Intra-Memory Knowledge Conflict in Language Models [8.965740058804197]
  言語モデル(LM)では、同じ事象に関する一貫性のない情報がモデルのパラメトリックな知識に符号化されると、メモリ内知識の衝突が発生する。 我々は、機械的解釈可能性法を用いて、事前学習データからの知識の相反が、LM内にエンコードされる場所と方法を特定する。 本研究は,言語モデルの特定の内部成分が,事前学習から相反する知識を符号化する役割を担っているという証拠の蓄積に寄与する。
  論文  参考訳（メタデータ） (2026-01-14T12:45:52Z)
• DYNAMICQA: Tracing Internal Knowledge Conflicts in Language Models [42.776896363518844]
  本研究では,メモリ内競合がLMのコンテキスト受容能力に及ぼす影響について検討した。 我々は、2つの知識衝突対策と、本質的に矛盾するデータを含む新しいデータセットであるDynamicQAを利用する。 我々は,単一真理値の事実と比較して,LMが動的事実とメモリ内衝突の程度が大きいことを検証した。
  論文  参考訳（メタデータ） (2024-07-24T06:06:07Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Online Continual Knowledge Learning for Language Models [3.654507524092343]
  大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。 オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T07:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。