論文の概要: SAKE: Steering Activations for Knowledge Editing

• arxiv url: http://arxiv.org/abs/2503.01751v1
• Date: Mon, 03 Mar 2025 17:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:32.864747
• Title: SAKE: Steering Activations for Knowledge Editing
• Title（参考訳）: SAKE: 知識編集のためのステアリング・アクティベーション
• Authors: Marco Scialanga, Thibault Laugel, Vincent Grari, Marcin Detyniecki,
• Abstract要約: 本研究では,1つのプロンプトではなく1つのプロンプトとして編集すべき事実をモデル化するステアリングアクティベーション手法であるSAKEを提案する。 いくつかの数値実験により,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 6.089774484591287
• License:
• Abstract: As Large Langue Models have been shown to memorize real-world facts, the need to update this knowledge in a controlled and efficient manner arises. Designed with these constraints in mind, Knowledge Editing (KE) approaches propose to alter specific facts in pretrained models. However, they have been shown to suffer from several limitations, including their lack of contextual robustness and their failure to generalize to logical implications related to the fact. To overcome these issues, we propose SAKE, a steering activation method that models a fact to be edited as a distribution rather than a single prompt. Leveraging Optimal Transport, SAKE alters the LLM behavior over a whole fact-related distribution, defined as paraphrases and logical implications. Several numerical experiments demonstrate the effectiveness of this method: SAKE is thus able to perform more robust edits than its existing counterparts.
• Abstract（参考訳）: 大型ラングモデルが現実世界の事実を記憶するために示されているように、この知識を制御的で効率的な方法で更新する必要がある。 これらの制約を念頭に設計され、知識編集(KE)アプローチは、事前訓練されたモデルにおける特定の事実を変更することを提案する。 しかし、文脈的堅牢性の欠如や、その事実に関連する論理的含意への一般化の失敗など、いくつかの制限に悩まされていることが示されている。 これらの問題を克服するために、単一のプロンプトではなく、編集対象の事実を分布としてモデル化するステアリングアクティベーション手法であるSAKEを提案する。 最適輸送を利用して、SAKEは、パラフレーズと論理的含意として定義される全事実関連分布上でのLLMの挙動を変化させる。 SAKEは既存のものよりも堅牢な編集を行うことができる。

関連論文リスト

• Joint Localization and Activation Editing for Low-Resource Fine-Tuning [73.64004083269424]
  本稿では,JoLA(Joal Localization and activation editing)法を提案する。 JoLAは(1)Transformerのどのヘッダーを編集するか、(2)介入が加法的、乗法的、または両方であるべきか、(3)介入パラメータ自体を学習する。 常識推論,自然言語理解,自然言語生成を対象とする3つのベンチマークの評価を通じて,JoLAが既存の手法を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-02-03T09:13:09Z)
• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• Augmenting the Veracity and Explanations of Complex Fact Checking via Iterative Self-Revision with LLMs [10.449165630417522]
  中国ではCHEF-EGとTrendFactという2つの複雑なファクトチェックデータセットを構築している。 これらのデータセットは、健康、政治、社会などの分野で複雑な事実を含む。 妥当性と説明の相互フィードバックを行うための統合フレームワークFactISRを提案する。
  論文  参考訳（メタデータ） (2024-10-19T15:25:19Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• Evaluating Dependencies in Fact Editing for Language Models: Specificity and Implication Awareness [26.589633375359647]
  学習した事実の編集が、知識の依存として知られる内部的な論理的制約を尊重することを確実にすることを目的としている。 LLMの編集作業は、ある事実の編集が関係のないものを破壊することなく、その語彙のバリエーションに適用されるべきである場合、依存関係の問題に部分的に対処している。 本稿では,関連する質問応答データセットであるDepEditを用いた評価プロトコルを提案し,編集プロセスの総合的な評価を行う。
  論文  参考訳（メタデータ） (2023-12-04T12:45:30Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。