論文の概要: From Internal Conflict to Contextual Adaptation of Language Models

• arxiv url: http://arxiv.org/abs/2407.17023v1
• Date: Wed, 24 Jul 2024 06:06:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 14:43:30.645824
• Title: From Internal Conflict to Contextual Adaptation of Language Models
• Title（参考訳）: 言語モデルの内部衝突から文脈適応へ
• Authors: Sara Vera Marjanović, Haeun Yu, Pepa Atanasova, Maria Maistro, Christina Lioma, Isabelle Augenstein,
• Abstract要約: 研究によると、LMは、事前学習中に学習した既存のLMのメモリと矛盾する可能性があるため、提供されたコンテキストを無視することが多い。 DYNAMICQAデータセットを導入する。 我々の実験では、変化しそうもない静的な事実は、追加のコンテキストでより容易に更新されることが判明した。
• 参考スコア（独自算出の注目度）: 42.776896363518844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge-intensive language understanding tasks require Language Models (LMs) to integrate relevant context, mitigating their inherent weaknesses, such as incomplete or outdated knowledge. Nevertheless, studies indicate that LMs often ignore the provided context as it can conflict with the pre-existing LM's memory learned during pre-training. Moreover, conflicting knowledge can already be present in the LM's parameters, termed intra-memory conflict. Existing works have studied the two types of knowledge conflicts only in isolation. We conjecture that the (degree of) intra-memory conflicts can in turn affect LM's handling of context-memory conflicts. To study this, we introduce the DYNAMICQA dataset, which includes facts with a temporal dynamic nature where a fact can change with a varying time frequency and disputable dynamic facts, which can change depending on the viewpoint. DYNAMICQA is the first to include real-world knowledge conflicts and provide context to study the link between the different types of knowledge conflicts. With the proposed dataset, we assess the use of uncertainty for measuring the intra-memory conflict and introduce a novel Coherent Persuasion (CP) score to evaluate the context's ability to sway LM's semantic output. Our extensive experiments reveal that static facts, which are unlikely to change, are more easily updated with additional context, relative to temporal and disputable facts.
• Abstract（参考訳）: 知識集約型言語理解タスクでは、言語モデル(LM)が関連するコンテキストを統合し、不完全な知識や時代遅れな知識などの固有の弱点を軽減する必要がある。 それでも研究は、LMが提供された文脈を無視することがしばしばあり、事前学習中に学習した既存のLMの記憶と矛盾する可能性があることを示唆している。 さらに、競合する知識は、メモリ内競合と呼ばれるLMのパラメータにすでに存在する。 現存する研究は、2種類の知識紛争を単独で研究している。 我々は、メモリ内コンフリクトの度合いが、LMのコンテキストメモリコンフリクトの処理に影響を及ぼすと推測する。 そこで本研究では, 時間周波数の異なる事象と, 視点によって変化可能な議論可能な動的事実を含む, 時間的動的特性を持つ事象を含むDYNAMICQAデータセットを提案する。 DYNAMICQAは、現実世界の知識紛争を初めて含み、異なる種類の知識紛争の関連を研究する文脈を提供する。 提案したデータセットでは,メモリ内コンフリクトの測定に不確実性を用いることを評価し,新しいコヒーレント・パースケーション(CP)スコアを導入し,LMのセマンティックアウトプットを伝達するコンテキストの能力を評価する。 我々の広範な実験により、変化しそうもない静的事実は、時間的および議論の余地のある事実に対して、追加の文脈でより容易に更新されることが明らかとなった。

関連論文リスト

• Analysing the Residual Stream of Language Models Under Knowledge Conflicts [23.96385393039587]
  大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。 しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。 これは、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2024-10-21T15:12:51Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Cutting Off the Head Ends the Conflict: A Mechanism for Interpreting and Mitigating Knowledge Conflicts in Language Models [18.2500350157507]
  内部記憶と外部コンテキストは必然的に衝突し、言語モデル(LM)内の知識の衝突につながる モデルパラメータを更新することなく、対立する注意を抑えることで、知識の衝突を効果的に軽減できるPatH PatcHing (PH3) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T08:34:41Z)
• Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-Entropy Constraint [20.543282448771336]
  本稿では,知識が相反するかどうかを識別し,解決するための適応的復号法を提案する。 実験により、COIECDは現実的なデータセットにおける知識の衝突に対して強い性能と堅牢性を示すことが示された。
  論文  参考訳（メタデータ） (2024-02-19T07:10:30Z)
• A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
  大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。 しかし、この文脈的基盤のメカニズムはいまだに不明である。 本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T17:35:42Z)
• Resolving Knowledge Conflicts in Large Language Models [46.903549751371415]
  大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。 知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。 文脈知識の矛盾をシミュレートする評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:57:45Z)
• Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning [87.92209048521153]
  出来事の時間的推論は、物語から2つ以上の出来事の間の時間的関係を特定することを目的としている。 知識の衝突は、コンテキスト内の事象の実際の時間的関係と、モデルによって学習された事前の知識やバイアスとの間にミスマッチがあるときに起こる。
  論文  参考訳（メタデータ） (2023-05-24T10:04:06Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。