論文の概要: Fundamental Problems With Model Editing: How Should Rational Belief Revision Work in LLMs?

• arxiv url: http://arxiv.org/abs/2406.19354v1
• Date: Thu, 27 Jun 2024 17:33:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 13:18:46.371438
• Title: Fundamental Problems With Model Editing: How Should Rational Belief Revision Work in LLMs?
• Title（参考訳）: モデル編集における基本的な問題:LLMにおける合理的信念の見直しはどのように行うべきか?
• Authors: Peter Hase, Thomas Hofweber, Xiang Zhou, Elias Stengel-Eskin, Mohit Bansal,
• Abstract要約: 本稿では,モデル編集問題の標準的な定式化を批判し,モデル編集研究のための形式的テストベッドを提案する。 まず,(1) 問題の定義,(2) ベンチマークの開発,(3) LLM がそもそも編集可能な信念を持っていることを前提として,モデル編集における12のオープンな問題について述べる。 次に、Wikidataに基づくモデル編集のための半合成データセットを導入し、理想化されたベイズエージェントによって与えられるラベルに対する編集を評価する。
• 参考スコア（独自算出の注目度）: 61.68363765350178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The model editing problem concerns how language models should learn new facts about the world over time. While empirical research on model editing has drawn widespread attention, the conceptual foundations of model editing remain shaky -- perhaps unsurprisingly, since model editing is essentially belief revision, a storied problem in philosophy that has eluded succinct solutions for decades. Model editing nonetheless demands a solution, since we need to be able to control the knowledge within language models. With this goal in mind, this paper critiques the standard formulation of the model editing problem and proposes a formal testbed for model editing research. We first describe 12 open problems with model editing, based on challenges with (1) defining the problem, (2) developing benchmarks, and (3) assuming LLMs have editable beliefs in the first place. Many of these challenges are extremely difficult to address, e.g. determining far-reaching consequences of edits, labeling probabilistic entailments between facts, and updating beliefs of agent simulators. Next, we introduce a semi-synthetic dataset for model editing based on Wikidata, where we can evaluate edits against labels given by an idealized Bayesian agent. This enables us to say exactly how belief revision in language models falls short of a desirable epistemic standard. We encourage further research exploring settings where such a gold standard can be compared against. Our code is publicly available at: https://github.com/peterbhase/LLM-belief-revision
• Abstract（参考訳）: モデル編集問題は、言語モデルが時間とともに世界に関する新しい事実を学習する方法に関するものである。 モデル編集に関する実証的研究は広く注目されているが、モデル編集の概念的な基礎は、おそらく、おそらくは、モデル編集は本質的に信念の修正であり、何十年にもわたって簡潔な解決を導いてきた哲学における確固たる問題であるため、いまだに不安定なままである。 にもかかわらず、モデル編集は、言語モデル内の知識を制御できる必要があるため、ソリューションを必要とします。 この目標を念頭に,本論文では,モデル編集問題の標準定式化を批判し,モデル編集研究のための形式的テストベッドを提案する。 まず,(1) 問題の定義,(2) ベンチマークの開発,(3) LLM がそもそも編集可能な信念を持っていることを前提として,モデル編集における12のオープンな問題について述べる。 これらの課題の多くは、編集の遠縁な結果の決定、事実間の確率的関係のラベル付け、エージェントシミュレータの信念の更新など、対処が非常に困難である。 次に、Wikidataに基づくモデル編集のための半合成データセットを導入し、理想化されたベイズエージェントによって与えられるラベルに対する編集を評価する。 これにより、言語モデルにおける信念の改訂が、望ましい認識基準の欠如を正確に言い表すことができる。 我々は、このような金の基準を比較できるような設定について、さらなる研究を奨励する。 私たちのコードは、https://github.com/peterbhase/LLM-belief-revisionで公開されています。

関連論文リスト

• Should We Really Edit Language Models? On the Evaluation of Edited Language Models [15.63231238452797]
  既存の編集手法は、一般的なベンチマークで必然的にパフォーマンスが低下する。 インストラクションチューニングされたモデルは、編集がより堅牢で、編集後の一般的な知識に対するパフォーマンス低下が少ない。 その結果,現在の編集手法は,言語モデル内の小規模な知識更新にのみ適していることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T14:36:48Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• "Flex Tape Can't Fix That": Bias and Misinformation in Edited Language Models [17.77377809345631]
  モデル編集手法は,編集後のモデルバイアスを予期せず増幅する方法について検討する。 具体的には、人種、地理的起源、性別などの人口特性に関するバイアスに焦点を当てる。 編集されたモデルは、アジア、アフリカ、および南米の被験者の属性に対する信頼性が低下するにつれて、様々な程度にバイアスのかかる行動を示す。
  論文  参考訳（メタデータ） (2024-02-29T23:11:55Z)
• Potential and Challenges of Model Editing for Social Debiasing [20.186721346693577]
  巨大なコーパスで訓練された大言語モデル(LLM)は、避けられないステレオタイプバイアスに悩まされる。 これらのバイアスを微調整で緩和することは、費用もデータもかかる。 ポストホックな方法でLLMを変更することに焦点を当てたモデル編集手法は、デバイアスに対処する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-02-21T01:35:26Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• DUnE: Dataset for Unified Editing [3.7346004746366384]
  自然言語文を編集するDUnE-an編集ベンチマークを導入する。 検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-27T18:56:14Z)
• Does Localization Inform Editing? Surprising Differences in Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
  既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。 特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。 我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2023-01-10T21:26:08Z)
• Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors [53.819805242367345]
  本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。 GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。 T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-11-20T17:18:22Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。