論文の概要: Editing Arbitrary Propositions in LLMs without Subject Labels
- arxiv url: http://arxiv.org/abs/2401.07526v1
- Date: Mon, 15 Jan 2024 08:08:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 17:45:23.751130
- Title: Editing Arbitrary Propositions in LLMs without Subject Labels
- Title(参考訳): 主題ラベルのないLLMにおける任意命題の編集
- Authors: Itai Feigenbaum, Devansh Arpit, Huan Wang, Shelby Heinecke, Juan
Carlos Niebles, Weiran Yao, Caiming Xiong, Silvio Savarese
- Abstract要約: GT(Gradient Tracing)と呼ばれるシンプルで高速なローカライゼーション手法を提案する。
GTは、単にバイナリではなく任意の命題を編集できる。
提案手法は, 対象ラベルにアクセスせずに, 対象ラベルを持つ最先端のL&E手法に近い動作を行うことを示す。
- 参考スコア(独自算出の注目度): 88.67755930096966
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Model (LLM) editing modifies factual information in LLMs.
Locate-and-Edit (L\&E) methods accomplish this by finding where relevant
information is stored within the neural network, and editing the weights at
that location. The goal of editing is to modify the response of an LLM to a
proposition independently of its phrasing, while not modifying its response to
other related propositions. Existing methods are limited to binary
propositions, which represent straightforward binary relations between a
subject and an object. Furthermore, existing methods rely on semantic subject
labels, which may not be available or even be well-defined in practice. In this
paper, we show that both of these issues can be effectively skirted with a
simple and fast localization method called Gradient Tracing (GT). This
localization method allows editing arbitrary propositions instead of just
binary ones, and does so without the need for subject labels. As propositions
always have a truth value, our experiments prompt an LLM as a boolean
classifier, and edit its T/F response to propositions. Our method applies GT
for location tracing, and then edit the model at that location using a mild
variant of Rank-One Model Editing (ROME). On datasets of binary propositions
derived from the CounterFact dataset, we show that our method -- without access
to subject labels -- performs close to state-of-the-art L\&E methods which has
access subject labels. We then introduce a new dataset, Factual Accuracy
Classification Test (FACT), which includes non-binary propositions and for
which subject labels are not generally applicable, and therefore is beyond the
scope of existing L\&E methods. Nevertheless, we show that with our method
editing is possible on FACT.
- Abstract(参考訳): LLM(Large Language Model)は、LLMの事実情報を編集する言語である。
Locate-and-Edit(L\&E)メソッドは、ニューラルネットワークに関連情報が格納されている場所を検出し、その位置で重みを編集することで、これを実現する。
編集の目的は、他の関連する命題に対する応答を変更せずに、その命題に対するllmの応答をその記述とは独立に修正することである。
既存のメソッドは、対象と対象の間の直接的な二項関係を表す二項命題に限られる。
さらに、既存のメソッドはセマンティックなサブジェクトラベルに依存している。
本稿では,これらの問題を,勾配追跡 (gt) と呼ばれる簡易かつ高速な局所化手法で効果的に回避できることを示す。
このローカライズ手法では、バイナリではなく任意の提案を編集することができ、主題ラベルを必要とせずに編集できる。
命題は常に真理値を持つので、我々の実験はLLMをブール分類器として促し、命題に対するT/F応答を編集する。
本手法は位置追跡にGTを適用し,Rand-One Model Editing (ROME) の軽度変種を用いてその位置でモデルを編集する。
CounterFact データセットから派生した二項命題のデータセットでは、対象ラベルにアクセスせずに、対象ラベルにアクセス可能な最先端の L\&E メソッドに近いパフォーマンスを示す。
次に,非バイナリ命題を含む新たなデータセットであるfactual accuracy classification test(fact)を導入する。
しかし,本手法ではFACT上で編集が可能であることを示す。
関連論文リスト
- Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [104.70586870701922]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳(メタデータ) (2024-02-19T07:45:17Z) - Knowledge Editing on Black-box Large Language Models [37.17131278142237]
知識編集は、大きな言語モデル(LLM)の振る舞いを効率的に正確に修正し、特定の知識を更新することを目的としている。
現在の研究は、主にホワイトボックスのLLM編集に焦点を当てており、重要なシナリオであるブラックボックスのLLM編集を見下ろしている。
ブラックボックスLLMにKEを導入し,既存の評価の限界を克服するための総合評価フレームワークを提案する。
2つのベンチマークの実験と分析は、 PostEditがすべてのベースラインを上回り、強力な一般化を実現することを示した。
論文 参考訳(メタデータ) (2024-02-13T17:59:34Z) - FEUDA: Frustratingly Easy Prompt Based Unsupervised Domain Adaptation [26.360118193761643]
ラベル付きおよびラベル付きの両方の例で自己回帰的LMを訓練する,フラストレーションに易しいUDA法(FEUDA)を提案する。
我々は,24個の実世界のドメインペアに対して,強力なドメイン不変学習法に対する提案手法の有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2024-01-31T00:15:34Z) - Effective Large Language Model Adaptation for Improved Grounding and
Citation Generation [46.15893715475059]
本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。
我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。
我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
論文 参考訳(メタデータ) (2023-11-16T03:22:25Z) - Factcheck-GPT: End-to-End Fine-Grained Document-Level Fact-Checking and
Correction of LLM Output [124.25862294329058]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
ラベル付け手順を高速化し、ラッカーの作業を簡単にするためのアノテーションツールを設計し、構築する。
オープンドメインの文書レベルの事実性ベンチマークを3段階のクレーム,文,文書で構築する。
論文 参考訳(メタデータ) (2023-11-15T14:41:57Z) - Emptying the Ocean with a Spoon: Should We Edit Models? [8.545919917068273]
LLM世代における事実誤りを訂正する手段として,最近普及した直接モデル編集手法を疑問視する。
モデル編集は、より明確な目的を追求する3つの類似しているが異なるアプローチと対比する。
論文 参考訳(メタデータ) (2023-10-18T13:38:03Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z) - CLIP2StyleGAN: Unsupervised Extraction of StyleGAN Edit Directions [65.00528970576401]
StyleGANは、合成画像と実画像の両方において、前例のないセマンティック編集機能を実現している。
興味あるCLIP方向を見つけるためのブロックと、CLIP潜在空間における任意の方向を示すブロックを提案する。
提案手法の有効性を評価し,不整合ラベル付きStyleGAN編集方向の抽出が実際に可能であることを示す。
論文 参考訳(メタデータ) (2021-12-09T21:26:03Z) - A Practical Framework for Relation Extraction with Noisy Labels Based on
Doubly Transitional Loss [14.121872633596452]
自動ラベリングのための実践的なエンドツーエンドのディープラーニングフレームワークを提案する。
1つの遷移は、隠れた層間の非線形変換によってパラメータ化される。
もう1つは、ラベル間の直接変換をキャプチャする明示的な確率遷移行列である。
論文 参考訳(メタデータ) (2020-04-28T19:38:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。