論文の概要: SAKE: Steering Activations for Knowledge Editing

• arxiv url: http://arxiv.org/abs/2503.01751v1
• Date: Mon, 03 Mar 2025 17:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 18:50:38.124795
• Title: SAKE: Steering Activations for Knowledge Editing
• Title（参考訳）: SAKE: 知識編集のためのステアリング・アクティベーション
• Authors: Marco Scialanga, Thibault Laugel, Vincent Grari, Marcin Detyniecki,
• Abstract要約: 本研究では,1つのプロンプトではなく1つのプロンプトとして編集すべき事実をモデル化するステアリングアクティベーション手法であるSAKEを提案する。 いくつかの数値実験により,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 6.089774484591287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Langue Models have been shown to memorize real-world facts, the need to update this knowledge in a controlled and efficient manner arises. Designed with these constraints in mind, Knowledge Editing (KE) approaches propose to alter specific facts in pretrained models. However, they have been shown to suffer from several limitations, including their lack of contextual robustness and their failure to generalize to logical implications related to the fact. To overcome these issues, we propose SAKE, a steering activation method that models a fact to be edited as a distribution rather than a single prompt. Leveraging Optimal Transport, SAKE alters the LLM behavior over a whole fact-related distribution, defined as paraphrases and logical implications. Several numerical experiments demonstrate the effectiveness of this method: SAKE is thus able to perform more robust edits than its existing counterparts.
• Abstract（参考訳）: 大型ラングモデルが現実世界の事実を記憶するために示されているように、この知識を制御的で効率的な方法で更新する必要がある。 これらの制約を念頭に設計され、知識編集(KE)アプローチは、事前訓練されたモデルにおける特定の事実を変更することを提案する。 しかし、文脈的堅牢性の欠如や、その事実に関連する論理的含意への一般化の失敗など、いくつかの制限に悩まされていることが示されている。 これらの問題を克服するために、単一のプロンプトではなく、編集対象の事実を分布としてモデル化するステアリングアクティベーション手法であるSAKEを提案する。 最適輸送を利用して、SAKEは、パラフレーズと論理的含意として定義される全事実関連分布上でのLLMの挙動を変化させる。 SAKEは既存のものよりも堅牢な編集を行うことができる。

関連論文リスト

• CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners [88.35958039968081]
  CaKE(Circuit-aware Knowledge Editing)は、大規模言語モデルにおける知識のより効果的な統合を可能にする新しい手法である。 その結果,CaKEは関連する推論タスクに対して,より正確で一貫した知識の活用を可能にすることがわかった。
  論文  参考訳（メタデータ） (2025-03-20T17:14:34Z)
• Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs [47.06544781855325]
  本研究では、成功率に影響を与えることなく、局所性を改善するための微粒なニューロンレベルの知識編集(FiNE)手法を提案する。 フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-03T01:30:28Z)
• Unlocking Efficient, Scalable, and Continual Knowledge Editing with Basis-Level Representation Fine-Tuning [29.20378857521518]
  大規模言語モデル (LLM) は様々な自然言語処理において顕著な性能を発揮している。 静的コーパスでトレーニングされ、その知識は急速に変化する世界で急速に時代遅れになる。 以前の取り組みでは、LLMの特定の層に少量のパラメータを更新しようと試みていた。 本研究では,様々な種類の知識を適応的に管理し,より優れた編集・局所性トレードオフを実現するため,BaFTを提案する。
  論文  参考訳（メタデータ） (2025-03-01T02:34:44Z)
• Joint Localization and Activation Editing for Low-Resource Fine-Tuning [73.64004083269424]
  本稿では,JoLA(Joal Localization and activation editing)法を提案する。 JoLAは(1)Transformerのどのヘッダーを編集するか、(2)介入が加法的、乗法的、または両方であるべきか、(3)介入パラメータ自体を学習する。 常識推論,自然言語理解,自然言語生成を対象とする3つのベンチマークの評価を通じて,JoLAが既存の手法を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-02-03T09:13:09Z)
• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• FAME: Towards Factual Multi-Task Model Editing [4.858226284963096]
  大規模言語モデル(LLM)は、幅広い知識を組み込んで、様々なタスクで非常によく機能する。 提案するFAMEは,モデル編集の実用性を高めるために設計された,現実的で包括的でマルチタスクなデータセットである。 次に,新しいキャッシング機構を用いて実世界との同期を確保するモデル編集手法であるSKEMEを提案する。
  論文  参考訳（メタデータ） (2024-10-07T13:46:06Z)
• How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
  大規模言語モデル(LLM)は目覚ましい能力を示しているが、トレーニング後の知識の更新は依然として重要な課題である。 我々は,新しい知識がLLMの学習された概念的階層や分類的関係と矛盾する程度であるパープレキシングネスの概念を紹介する。 我々の分析によると、より抽象的な概念(ハイポニム)を含む編集は一般的に、より難易度が高く、特定の概念(ハイポニム)よりも修正に耐性がある。
  論文  参考訳（メタデータ） (2024-06-25T03:41:02Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• Evaluating Dependencies in Fact Editing for Language Models: Specificity and Implication Awareness [26.589633375359647]
  学習した事実の編集が、知識の依存として知られる内部的な論理的制約を尊重することを確実にすることを目的としている。 LLMの編集作業は、ある事実の編集が関係のないものを破壊することなく、その語彙のバリエーションに適用されるべきである場合、依存関係の問題に部分的に対処している。 本稿では,関連する質問応答データセットであるDepEditを用いた評価プロトコルを提案し,編集プロセスの総合的な評価を行う。
  論文  参考訳（メタデータ） (2023-12-04T12:45:30Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。