論文の概要: Editing Arbitrary Propositions in LLMs without Subject Labels

• arxiv url: http://arxiv.org/abs/2401.07526v1
• Date: Mon, 15 Jan 2024 08:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 17:45:23.751130
• Title: Editing Arbitrary Propositions in LLMs without Subject Labels
• Title（参考訳）: 主題ラベルのないLLMにおける任意命題の編集
• Authors: Itai Feigenbaum, Devansh Arpit, Huan Wang, Shelby Heinecke, Juan Carlos Niebles, Weiran Yao, Caiming Xiong, Silvio Savarese
• Abstract要約: GT(Gradient Tracing)と呼ばれるシンプルで高速なローカライゼーション手法を提案する。 GTは、単にバイナリではなく任意の命題を編集できる。 提案手法は, 対象ラベルにアクセスせずに, 対象ラベルを持つ最先端のL&E手法に近い動作を行うことを示す。
• 参考スコア（独自算出の注目度）: 88.67755930096966
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Model (LLM) editing modifies factual information in LLMs. Locate-and-Edit (L\&E) methods accomplish this by finding where relevant information is stored within the neural network, and editing the weights at that location. The goal of editing is to modify the response of an LLM to a proposition independently of its phrasing, while not modifying its response to other related propositions. Existing methods are limited to binary propositions, which represent straightforward binary relations between a subject and an object. Furthermore, existing methods rely on semantic subject labels, which may not be available or even be well-defined in practice. In this paper, we show that both of these issues can be effectively skirted with a simple and fast localization method called Gradient Tracing (GT). This localization method allows editing arbitrary propositions instead of just binary ones, and does so without the need for subject labels. As propositions always have a truth value, our experiments prompt an LLM as a boolean classifier, and edit its T/F response to propositions. Our method applies GT for location tracing, and then edit the model at that location using a mild variant of Rank-One Model Editing (ROME). On datasets of binary propositions derived from the CounterFact dataset, we show that our method -- without access to subject labels -- performs close to state-of-the-art L\&E methods which has access subject labels. We then introduce a new dataset, Factual Accuracy Classification Test (FACT), which includes non-binary propositions and for which subject labels are not generally applicable, and therefore is beyond the scope of existing L\&E methods. Nevertheless, we show that with our method editing is possible on FACT.
• Abstract（参考訳）: LLM(Large Language Model)は、LLMの事実情報を編集する言語である。 Locate-and-Edit(L\&E)メソッドは、ニューラルネットワークに関連情報が格納されている場所を検出し、その位置で重みを編集することで、これを実現する。 編集の目的は、他の関連する命題に対する応答を変更せずに、その命題に対するllmの応答をその記述とは独立に修正することである。 既存のメソッドは、対象と対象の間の直接的な二項関係を表す二項命題に限られる。 さらに、既存のメソッドはセマンティックなサブジェクトラベルに依存している。 本稿では,これらの問題を,勾配追跡 (gt) と呼ばれる簡易かつ高速な局所化手法で効果的に回避できることを示す。 このローカライズ手法では、バイナリではなく任意の提案を編集することができ、主題ラベルを必要とせずに編集できる。 命題は常に真理値を持つので、我々の実験はLLMをブール分類器として促し、命題に対するT/F応答を編集する。 本手法は位置追跡にGTを適用し,Rand-One Model Editing (ROME) の軽度変種を用いてその位置でモデルを編集する。 CounterFact データセットから派生した二項命題のデータセットでは、対象ラベルにアクセスせずに、対象ラベルにアクセス可能な最先端の L\&E メソッドに近いパフォーマンスを示す。 次に,非バイナリ命題を含む新たなデータセットであるfactual accuracy classification test(fact)を導入する。 しかし,本手法ではFACT上で編集が可能であることを示す。

関連論文リスト

• Joint Localization and Activation Editing for Low-Resource Fine-Tuning [73.64004083269424]
  本稿では,JoLA(Joal Localization and activation editing)法を提案する。 JoLAは(1)Transformerのどのヘッダーを編集するか、(2)介入が加法的、乗法的、または両方であるべきか、(3)介入パラメータ自体を学習する。 常識推論,自然言語理解,自然言語生成を対象とする3つのベンチマークの評価を通じて,JoLAが既存の手法を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-02-03T09:13:09Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [65.93240009586351]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• Topic Modeling with Fine-tuning LLMs and Bag of Sentences [1.8592384822257952]
  FT-Topicはトピックモデリングのための教師なしの微調整手法である。 SenCluは1つのトピックに対する文群の高速な推測とハードな割り当てを実現する、最先端のトピックモデリング手法である。
  論文  参考訳（メタデータ） (2024-08-06T11:04:07Z)
• Aligning Language Models to Explicitly Handle Ambiguity [22.078095273053506]
  我々は,あいまいなクエリを扱うために,言語モデルを整列する新しいパイプラインであるAlignment with Perceived Ambiguity (APA)を提案する。 質問応答データセットの実験結果から、APAはLLMに対して、あいまいなクエリを明示的に検出し、管理する権限を持つことが示された。 我々の発見は、APAがゴールドスタンダードラベルのトレーニング、特にアウト・オブ・ディストリビューションのシナリオで優れていることを証明している。
  論文  参考訳（メタデータ） (2024-04-18T07:59:53Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• Emptying the Ocean with a Spoon: Should We Edit Models? [8.545919917068273]
  LLM世代における事実誤りを訂正する手段として,最近普及した直接モデル編集手法を疑問視する。 モデル編集は、より明確な目的を追求する3つの類似しているが異なるアプローチと対比する。
  論文  参考訳（メタデータ） (2023-10-18T13:38:03Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)
• A Practical Framework for Relation Extraction with Noisy Labels Based on Doubly Transitional Loss [14.121872633596452]
  自動ラベリングのための実践的なエンドツーエンドのディープラーニングフレームワークを提案する。 1つの遷移は、隠れた層間の非線形変換によってパラメータ化される。 もう1つは、ラベル間の直接変換をキャプチャする明示的な確率遷移行列である。
  論文  参考訳（メタデータ） (2020-04-28T19:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。