論文の概要: Model Editing with Graph-Based External Memory
- arxiv url: http://arxiv.org/abs/2505.18343v1
- Date: Fri, 23 May 2025 19:57:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.352454
- Title: Model Editing with Graph-Based External Memory
- Title（参考訳）: グラフベース外部メモリを用いたモデル編集
- Authors: Yash Kumar Atri, Ahmed Alaa, Thomas Hartvigsen,
- Abstract要約: 本稿では,双曲的幾何とグラフニューラルネットワークを利用して,高精度で安定したモデル編集を行う新しいフレームワークを提案する。
CounterFact, CounterFact+, MQuAKE with GPT-J and GPT2-XL 実験はHYPEが編集安定性、事実精度、マルチホップ推論を著しく向上させることを示した。
- 参考スコア（独自算出の注目度）: 12.694485038895813
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large language models (LLMs) have revolutionized natural language processing, yet their practical utility is often limited by persistent issues of hallucinations and outdated parametric knowledge. Although post-training model editing offers a pathway for dynamic updates, existing methods frequently suffer from overfitting and catastrophic forgetting. To tackle these challenges, we propose a novel framework that leverages hyperbolic geometry and graph neural networks for precise and stable model edits. We introduce HYPE (HYperbolic Parameter Editing), which comprises three key components: (i) Hyperbolic Graph Construction, which uses Poincar\'e embeddings to represent knowledge triples in hyperbolic space, preserving hierarchical relationships and preventing unintended side effects by ensuring that edits to parent concepts do not inadvertently affect child concepts; (ii) M\"obius-Transformed Updates, which apply hyperbolic addition to propagate edits while maintaining structural consistency within the hyperbolic manifold, unlike conventional Euclidean updates that distort relational distances; and (iii) Dual Stabilization, which combines gradient masking and periodic GNN parameter resetting to prevent catastrophic forgetting by focusing updates on critical parameters and preserving long-term knowledge. Experiments on CounterFact, CounterFact+, and MQuAKE with GPT-J and GPT2-XL demonstrate that HYPE significantly enhances edit stability, factual accuracy, and multi-hop reasoning.
- Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、その実用性は幻覚や古いパラメトリック知識によって制限されることが多い。
トレーニング後のモデル編集は動的更新の経路を提供するが、既存の方法は過度な適合と破滅的な忘れ込みに悩まされることが多い。
これらの課題に対処するために,双曲幾何学とグラフニューラルネットワークを活用して,高精度で安定したモデル編集を行う新しいフレームワークを提案する。
HYPE (HYperbolic Parameter Editing) は3つの重要なコンポーネントから構成される。
一 双曲グラフ構築であって、双曲空間における知識三重項を表現し、階層的関係を保ち、親概念への編集が必然的に児童概念に影響を与えないようにすることによる意図しない副作用を防止すること。
(ii)M\\\obius-transformed Updatesは、双曲的多様体の構造的整合性を維持しながら編集を伝播するために双曲的加法を適用する。
三 勾配マスキングと周期的GNNパラメータリセットを組み合わせた二重安定化により、臨界パラメータの更新と長期的知識の保存により破滅的忘れを防止する。
CounterFact, CounterFact+, MQuAKE with GPT-J and GPT2-XL 実験はHYPEが編集安定性、事実精度、マルチホップ推論を著しく向上させることを示した。
関連論文リスト
- EmbodiedOcc++: Boosting Embodied 3D Occupancy Prediction with Plane Regularization and Uncertainty Sampler [43.277357306520145]
本稿では,EmbodiedOcc++を紹介する。
Geometry-Guided Refinement Module (GRM) は、SUS(Semantic-Aware Uncertainty Sampler)とともに平面正規化によるガウス的更新を制約する
EmbodiedOcc-ScanNetベンチマークの実験は、EmbodiedOccがさまざまな設定で最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2025-04-13T12:10:49Z) - Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU [50.9588132578029]
本稿では,双曲型コントラスト学習における機械学習について検討する。
我々は、画像とテキストを双曲空間に埋め込んだモデルであるMERUにアライメントを適用し、セマンティック階層をよりよくキャプチャする。
提案手法では,双曲空間の特異性を利用したエンテーメントキャリブレーションやノルム正規化など,双曲特異成分を導入している。
論文 参考訳（メタデータ） (2025-03-19T12:47:37Z) - Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
大規模な言語モデルは定期的に更新する必要がある。
モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。
文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
論文 参考訳（メタデータ） (2024-10-03T12:28:13Z) - From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。
既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。
ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
論文 参考訳（メタデータ） (2024-08-30T10:33:08Z) - Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。
3つの戦略を含む新しい量子化フレームワークを導入する。
このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
論文 参考訳（メタデータ） (2024-07-28T17:46:15Z) - Robust Hyperbolic Learning with Curvature-Aware Optimization [7.89323764547292]
現在の双曲型学習アプローチは、過度に適合し、計算コストが高く、不安定になりがちである。
本稿では,双曲的埋め込みを制限し,近似誤差を低減するために,新しい微調整可能な双曲的スケーリング手法を提案する。
提案手法は,コンピュータビジョン,脳波分類,階層的メトリック学習タスクにおける一貫した改善を示す。
論文 参考訳（メタデータ） (2024-05-22T20:30:14Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Overcoming Topology Agnosticism: Enhancing Skeleton-Based Action
Recognition through Redefined Skeletal Topology Awareness [24.83836008577395]
グラフ畳み込みネットワーク(GCN)は長い間、骨格に基づく行動認識の最先端を定義してきた。
彼らはモデルの重みとともに隣接行列を最適化する傾向がある。
このプロセスは、骨接続データの段階的な崩壊を引き起こし、マッピングしようとしたトポロジとは無関係なモデルで終わる。
本稿では,骨の接続性をグラフ距離のパワーを利用して符号化する革新的な経路を提案する。
論文 参考訳（メタデータ） (2023-05-19T06:40:12Z) - Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。
具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。
そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
論文 参考訳（メタデータ） (2022-02-17T02:17:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。