論文の概要: Model Editing with Graph-Based External Memory

• arxiv url: http://arxiv.org/abs/2505.18343v1
• Date: Fri, 23 May 2025 19:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.352454
• Title: Model Editing with Graph-Based External Memory
• Title（参考訳）: グラフベース外部メモリを用いたモデル編集
• Authors: Yash Kumar Atri, Ahmed Alaa, Thomas Hartvigsen,
• Abstract要約: 本稿では,双曲的幾何とグラフニューラルネットワークを利用して,高精度で安定したモデル編集を行う新しいフレームワークを提案する。 CounterFact, CounterFact+, MQuAKE with GPT-J and GPT2-XL 実験はHYPEが編集安定性、事実精度、マルチホップ推論を著しく向上させることを示した。
• 参考スコア（独自算出の注目度）: 12.694485038895813
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) have revolutionized natural language processing, yet their practical utility is often limited by persistent issues of hallucinations and outdated parametric knowledge. Although post-training model editing offers a pathway for dynamic updates, existing methods frequently suffer from overfitting and catastrophic forgetting. To tackle these challenges, we propose a novel framework that leverages hyperbolic geometry and graph neural networks for precise and stable model edits. We introduce HYPE (HYperbolic Parameter Editing), which comprises three key components: (i) Hyperbolic Graph Construction, which uses Poincar\'e embeddings to represent knowledge triples in hyperbolic space, preserving hierarchical relationships and preventing unintended side effects by ensuring that edits to parent concepts do not inadvertently affect child concepts; (ii) M\"obius-Transformed Updates, which apply hyperbolic addition to propagate edits while maintaining structural consistency within the hyperbolic manifold, unlike conventional Euclidean updates that distort relational distances; and (iii) Dual Stabilization, which combines gradient masking and periodic GNN parameter resetting to prevent catastrophic forgetting by focusing updates on critical parameters and preserving long-term knowledge. Experiments on CounterFact, CounterFact+, and MQuAKE with GPT-J and GPT2-XL demonstrate that HYPE significantly enhances edit stability, factual accuracy, and multi-hop reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、その実用性は幻覚や古いパラメトリック知識によって制限されることが多い。 トレーニング後のモデル編集は動的更新の経路を提供するが、既存の方法は過度な適合と破滅的な忘れ込みに悩まされることが多い。 これらの課題に対処するために,双曲幾何学とグラフニューラルネットワークを活用して,高精度で安定したモデル編集を行う新しいフレームワークを提案する。 HYPE (HYperbolic Parameter Editing) は3つの重要なコンポーネントから構成される。 一 双曲グラフ構築であって、双曲空間における知識三重項を表現し、階層的関係を保ち、親概念への編集が必然的に児童概念に影響を与えないようにすることによる意図しない副作用を防止すること。 (ii)M\\\obius-transformed Updatesは、双曲的多様体の構造的整合性を維持しながら編集を伝播するために双曲的加法を適用する。 三 勾配マスキングと周期的GNNパラメータリセットを組み合わせた二重安定化により、臨界パラメータの更新と長期的知識の保存により破滅的忘れを防止する。 CounterFact, CounterFact+, MQuAKE with GPT-J and GPT2-XL 実験はHYPEが編集安定性、事実精度、マルチホップ推論を著しく向上させることを示した。

関連論文リスト

• Words & Weights: Streamlining Multi-Turn Interactions via Co-Adaptation [55.938648534942665]
  マルチターンインタラクション(T2PAM)に対するテスト時ポリシー適応は,大規模言語モデル(LLM)と動的ユーザニーズとの整合に不可欠である。 本稿では,単語と重みの不均一な空間上での相互作用を協調最適化問題として再構成するフレームワークであるROSA2を提案する。
  論文  参考訳（メタデータ） (2026-03-02T02:16:20Z)
• Spectral Characterization and Mitigation of Sequential Knowledge Editing Collapse [44.49646322759214]
  モデルの一般能力は、事前訓練された重み行列の支配的な特異方向と密接に関連していることを示す。 支配的な特異部分空間を明示的に保存することにより、シーケンシャルな編集を安定化するプラグイン・アンド・プレイフレームワークであるREVIVEを提案する。
  論文  参考訳（メタデータ） (2026-01-16T07:18:14Z)
• Forget Many, Forget Right: Scalable and Precise Concept Unlearning in Diffusion Models [17.91843469884079]
  ScaPreは、大規模なアンラーニングに適した統合フレームワークである。 スペクトルトレース正則化と幾何アライメントを統合し、最適化を安定させ、対立を抑え、グローバルな構造を維持する。 許容できる品質制限の中で最高のベースラインよりも、$times mathbf5$以上の概念を忘れています。
  論文  参考訳（メタデータ） (2026-01-06T23:59:17Z)
• Energy-Regularized Sequential Model Editing on Hyperspheres [59.47007547581175]
  大規模言語モデル(LLM)は、進化する現実世界の知識と整合性を維持するために、定期的な更新を必要とする。 逐次編集はしばしば表現を不安定にし、破滅的な忘れを誘発する。 ニューロンの重量分布を安定化するHE駆動正規化戦略であるSPHERE(Sparse Projection for Hyperspherical Energy-Regularized Editing)を提案する。
  論文  参考訳（メタデータ） (2025-10-01T17:55:43Z)
• EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
  IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。 これは、パッチの計算上の利点を維持しながら、時間構造を保存する。 長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
  論文  参考訳（メタデータ） (2025-09-30T12:09:56Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [82.34547399693966]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 残メモリを介して知識を注入する新しいスケーラブルなフレームワークであるMEMOIRを提案する。 MeMOIRは各編集をメモリパラメータの別のサブセットに限定し、編集間の干渉を最小限にする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• EmbodiedOcc++: Boosting Embodied 3D Occupancy Prediction with Plane Regularization and Uncertainty Sampler [43.277357306520145]
  本稿では,EmbodiedOcc++を紹介する。 Geometry-Guided Refinement Module (GRM) は、SUS(Semantic-Aware Uncertainty Sampler)とともに平面正規化によるガウス的更新を制約する EmbodiedOcc-ScanNetベンチマークの実験は、EmbodiedOccがさまざまな設定で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-13T12:10:49Z)
• Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU [50.9588132578029]
  本稿では,双曲型コントラスト学習における機械学習について検討する。 我々は、画像とテキストを双曲空間に埋め込んだモデルであるMERUにアライメントを適用し、セマンティック階層をよりよくキャプチャする。 提案手法では,双曲空間の特異性を利用したエンテーメントキャリブレーションやノルム正規化など,双曲特異成分を導入している。
  論文  参考訳（メタデータ） (2025-03-19T12:47:37Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
  時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。 既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。 ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-30T10:33:08Z)
• Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
  拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。 3つの戦略を含む新しい量子化フレームワークを導入する。 このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
  論文  参考訳（メタデータ） (2024-07-28T17:46:15Z)
• Robust Hyperbolic Learning with Curvature-Aware Optimization [7.89323764547292]
  現在の双曲型学習アプローチは、過度に適合し、計算コストが高く、不安定になりがちである。 本稿では,双曲的埋め込みを制限し,近似誤差を低減するために,新しい微調整可能な双曲的スケーリング手法を提案する。 提案手法は,コンピュータビジョン,脳波分類,階層的メトリック学習タスクにおける一貫した改善を示す。
  論文  参考訳（メタデータ） (2024-05-22T20:30:14Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Overcoming Topology Agnosticism: Enhancing Skeleton-Based Action Recognition through Redefined Skeletal Topology Awareness [24.83836008577395]
  グラフ畳み込みネットワーク(GCN)は長い間、骨格に基づく行動認識の最先端を定義してきた。 彼らはモデルの重みとともに隣接行列を最適化する傾向がある。 このプロセスは、骨接続データの段階的な崩壊を引き起こし、マッピングしようとしたトポロジとは無関係なモデルで終わる。 本稿では,骨の接続性をグラフ距離のパワーを利用して符号化する革新的な経路を提案する。
  論文  参考訳（メタデータ） (2023-05-19T06:40:12Z)
• Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
  動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。 具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。 そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
  論文  参考訳（メタデータ） (2022-02-17T02:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。