論文の概要: CaseEdit: Enhancing Localized Commonsense Reasoning via Null-Space Constrained Knowledge Editing in Small Parameter Language Models

• arxiv url: http://arxiv.org/abs/2505.19383v1
• Date: Mon, 26 May 2025 00:54:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.082845
• Title: CaseEdit: Enhancing Localized Commonsense Reasoning via Null-Space Constrained Knowledge Editing in Small Parameter Language Models
• Title（参考訳）: 事例編集:小パラメータ言語モデルにおけるNull-Space Constrained Knowledge Editingによる局所的コモンセンス推論の促進
• Authors: Varun Reddy, Yen-Ling Kuo,
• Abstract要約: 大規模言語モデル(LLM)は、事実的リコールと一般的な推論において強い性能を示すが、ユーザ固有の常識知識に適応するのに苦労する。 我々は、ローカル化されたパーソナライズされたコモンセンス知識編集を評価するための新しいデータセットと生成パイプラインであるCaseEditを紹介する。 以上の結果から,AlphaEditのような効果的な編集技術を用いたCaseEditを使用することで,小型モデルで高品質で文脈に敏感な常識知識を内部化することが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 4.190739522901791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit strong performance on factual recall and general reasoning but struggle to adapt to user-specific, commonsense knowledge, a challenge particularly acute in small-parameter settings where computational efficiency is prioritized. We introduce CaseEdit, a new dataset and generation pipeline for evaluating localized, personalized commonsense knowledge editing in small LLMs to address this. Built upon the ATOMIC20/20 commonsense graph, CaseEdit uses a multi-stage inference process to generate both typical and atypical contextual edits for household objects, paired with targeted evaluation questions across four axes: reliability, generalization, locality, and portability. We evaluate established knowledge editing methods using CaseEdit and demonstrate that AlphaEdit, a technique employing null-space projection to minimize interference with unrelated knowledge, consistently outperforms other methods when applied to an LLaMA 3.2 3B model, even in scalability tests, showing minimal ripple effects. Our results indicate that using CaseEdit with effective editing techniques like AlphaEdit allows small models to internalize high-quality, context-sensitive common-sense knowledge, paving the way for lightweight, personalized assistants.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事実のリコールや一般的な推論において強いパフォーマンスを示すが、ユーザ固有の常識知識に適応するのに苦労する。 この問題に対処するために、小さなLLMにおいて、局所的でパーソナライズされたコモンセンス知識編集を評価するための新しいデータセットと生成パイプラインであるCaseEditを紹介した。 ATOMIC20/20 Commonsenseグラフに基づいて構築されたCaseEditは、多段階推論プロセスを使用して、家庭用オブジェクトの典型的および非定型的なコンテキスト編集を生成する。 我々は,CaseEditを用いた知識編集手法の評価を行い,非関係な知識との干渉を最小限に抑えるためにnull空間プロジェクションを用いたAlphaEditが,拡張性試験においてもLLaMA 3.2 3Bモデルに適用した場合,最小限のリップル効果を示す場合においても,他の手法よりも一貫して優れていることを示す。 この結果から,AlphaEditのような効果的な編集技術を用いたCaseEditを使用することで,小型モデルによる高品質でコンテキストに敏感な常識知識の内在化が可能になり,より軽量でパーソナライズされたアシスタントへの道が開かれたことが示唆された。

関連論文リスト

• UniEdit: A Unified Knowledge Editing Benchmark for Large Language Models [16.546605509744015]
  オープンドメイン知識に基づく大規模言語モデル(LLM)編集のための統一ベンチマークであるUniEditを紹介する。 まず,5つのカテゴリにまたがる25の共通領域からエンティティを選択することで,サンプルを編集する。 編集における一般性や局所性の問題に対処するため,我々はNorborhood Multi-hop Chain Smpling (NMCS)アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2025-05-18T10:19:01Z)
• ComprehendEdit: A Comprehensive Dataset and Evaluation Framework for Multimodal Knowledge Editing [27.034072044001736]
  大規模マルチモーダル言語モデル(MLLM)は、自然言語処理と視覚的理解に革命をもたらした。 現在の知識編集評価はスコープが限られており、バイアスがある可能性がある。 複数のデータセットから8つのタスクからなる総合的なベンチマークであるComprehendEditを紹介する。
  論文  参考訳（メタデータ） (2024-12-17T11:41:49Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [63.209935157623946]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。