論文の概要: Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning

• arxiv url: http://arxiv.org/abs/2503.05212v1
• Date: Fri, 07 Mar 2025 08:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:24:31.405568
• Title: Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning
• Title（参考訳）: 知識の更新? モデル編集は不要! 選択的な文脈推論
• Authors: Guoxiu He, Xin Song, Aixin Sun,
• Abstract要約: 信頼性,一般化,局所性,可搬性という4次元の10種類のモデル編集手法の評価を行った。 次に、知識更新のためのSCR(Selective Contextual Reasoning)という簡単な手法を提案する。
• 参考スコア（独自算出の注目度）: 38.018263569983226
• License:
• Abstract: As real-world knowledge evolves, the information embedded within large language models (LLMs) can become outdated, inadequate, or erroneous. Model editing has emerged as a prominent approach for updating LLMs' knowledge with minimal computational costs and parameter changes. This approach typically identifies and adjusts specific model parameters associated with newly acquired knowledge. However, existing methods often underestimate the adverse effects that parameter modifications can have on broadly distributed knowledge. More critically, post-edit LLMs frequently struggle with multi-hop reasoning and continuous knowledge updates. Although various studies have discussed these shortcomings, there is a lack of comprehensive evaluation. In this paper, we provide an evaluation of ten model editing methods along four dimensions: reliability, generalization, locality, and portability. Results confirm that all ten popular model editing methods show significant shortcomings across multiple dimensions, suggesting model editing is less promising. We then propose a straightforward method called Selective Contextual Reasoning (SCR), for knowledge updating. SCR does not modify model parameters but harnesses LLM's inherent contextual reasoning capabilities utilizing the updated knowledge pieces. Under SCR, an LLM first assesses whether an incoming query falls within the scope of an external knowledge base. If it does, the relevant external knowledge texts are contextualized to enhance reasoning; otherwise, the query is answered directly. We evaluate SCR against the ten model editing methods on two counterfactual datasets with three backbone LLMs. Empirical results confirm the effectiveness and efficiency of contextual reasoning for knowledge updating.
• Abstract（参考訳）: 現実世界の知識が進化するにつれて、大きな言語モデル(LLM)に埋め込まれた情報は時代遅れ、不適切な、あるいは誤ったものになる可能性がある。 モデル編集はLLMの知識を最小の計算コストとパラメータ変化で更新するための顕著なアプローチとして登場した。 このアプローチは一般的に、新たに獲得した知識に関連する特定のモデルパラメータを特定し、調整する。 しかし、既存の手法は、パラメータ修正が広範囲に分散した知識にもたらす悪影響を過小評価することが多い。 さらに重要なのは、後処理のLLMが、マルチホップ推論と継続的知識更新にしばしば苦労していることだ。 様々な研究がこれらの欠点について論じているが、包括的評価の欠如がある。 本稿では,信頼性,一般化,局所性,可搬性という4次元のモデル編集手法の評価を行う。 その結果、一般的な10のモデル編集手法は、複数の次元にまたがる重大な欠点を示しており、モデル編集があまり有望でないことが示唆された。 次に、知識更新のためのSCR(Selective Contextual Reasoning)という簡単な手法を提案する。 SCRはモデルパラメータを変更しないが、LLM固有の文脈推論機能を利用する。 SCRでは、LLMがまず、入ってくるクエリが外部知識ベースの範囲内にあるかどうかを評価する。 もしそうなら、関連する外部知識テキストは、推論を強化するためにコンテキスト化され、そうでなければ、クエリは直接答えられる。 我々は,3つのバックボーンLLMを持つ2つの対実データに対して,SCRを10モデル編集法と比較した。 経験的結果は、知識更新のための文脈推論の有効性と効率性を確認する。

関連論文リスト

• Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
  本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。 RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。 さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。 我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
  論文  参考訳（メタデータ） (2024-05-06T08:52:11Z)
• Retrieval-enhanced Knowledge Editing in Language Models for Multi-Hop Question Answering [47.199078631274745]
  大規模言語モデル(LLM)は質問応答タスクの習熟度を示しているが、しばしばリアルタイム知識の統合に苦慮している。 マルチホップ質問応答のためのRetrieval-Augmented Model Editing (RAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-28T17:47:19Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。