Fugu-MT 論文翻訳(概要): Mass-Editing Memory with Attention in Transformers: A cross-lingual exploration of knowledge

論文の概要: Mass-Editing Memory with Attention in Transformers: A cross-lingual exploration of knowledge

arxiv url: http://arxiv.org/abs/2502.02173v1
Date: Tue, 04 Feb 2025 09:47:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:04:26.816884
Title: Mass-Editing Memory with Attention in Transformers: A cross-lingual exploration of knowledge
Title（参考訳）: 変圧器の注意を伴うマス編集記憶:知識の言語横断的探索
Authors: Daniel Tamayo, Aitor Gonzalez-Agirre, Javier Hernando, Marta Villegas,
Abstract要約: 本研究では,言語間の知識編集手法の有効性について検討した。変圧器の注意を伴うマス編集メモリ(MEMAT)を提案する。 MEMATは、目覚ましい10%のスケールのメトリクスを提供する。
参考スコア（独自算出の注目度）: 9.493841173624537
License:
Abstract: Recent research has explored methods for updating and modifying factual knowledge in large language models, often focusing on specific multi-layer perceptron blocks. This study expands on this work by examining the effectiveness of existing knowledge editing methods across languages and delving into the role of attention mechanisms in this process. Drawing from the insights gained, we propose Mass-Editing Memory with Attention in Transformers (MEMAT), a method that achieves significant improvements in all metrics while requiring minimal parameter modifications. MEMAT delivers a remarkable 10% increase in magnitude metrics, benefits languages not included in the training data and also demonstrates a high degree of portability. Our code and data are at https://github.com/dtamayo-nlp/MEMAT.
Abstract（参考訳）: 近年,多層パーセプトロンブロックに着目した大規模言語モデルにおいて,事実知識の更新と修正を行う手法が研究されている。本研究は,既存の言語間の知識編集手法の有効性を検証し,このプロセスにおける注意機構の役割を掘り下げることにより,本研究を拡大する。得られた知見をもとに,最小限のパラメータ修正を必要としながら,すべての指標を大幅に改善する手法であるMEMAT(Mass-Editing Memory with Attention in Transformers)を提案する。 MEMATは、桁違いに10%増加し、トレーニングデータに含まれない言語に恩恵を与え、高い可搬性を示す。コードとデータはhttps://github.com/dtamayo-nlp/MEMAT.comにある。

関連論文リスト

Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
論文参考訳（メタデータ） (2024-07-14T17:18:16Z)
MEMLA: Enhancing Multilingual Knowledge Editing with Neuron-Masked Low-Rank Adaptation [18.087144677674786]
我々は多言語知識編集(MKE)に重点を置いており、複数の言語にまたがる更新の伝播が必要である。 12言語からなる新しいデータセットであるMKEB(Multilingual Knowledge Editing Benchmark)を紹介する。また,ニューロンマスト型低ランク適応(MEMLA)による知識編集を促進する手法を提案する。
論文参考訳（メタデータ） (2024-06-17T14:03:50Z)
DIEKAE: Difference Injection for Efficient Knowledge Augmentation and Editing of Large Language Models [0.39684397182496267]
効率的な知識向上・編集のための差分注入法(DIEKAE)について紹介する。 PLMによるバックプロパゲーションを必要としないエンコーダのための新しいトレーニング手法を提案する。本研究は,学習と推論の双方において,知識向上と編集の複数のベースラインと比較して,我々の手法がより速く,より効率的であることを示すものである。
論文参考訳（メタデータ） (2024-06-15T14:57:39Z)
Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
論文参考訳（メタデータ） (2024-03-07T08:34:57Z)
Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
論文参考訳（メタデータ） (2023-10-17T17:58:34Z)
Think Before You Act: Decision Transformers with Working Memory [44.18926449252084]
決定変換器に基づく意思決定エージェントは、複数のタスクにまたがる一般化能力を示している。この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。ダウンストリームタスクの情報を格納、ブレンド、検索するためのワーキングメモリモジュールを提案する。
論文参考訳（メタデータ） (2023-05-24T01:20:22Z)
Language Agnostic Code-Mixing Data Augmentation by Predicting Linguistic Patterns [0.5560631344057825]
本稿では,下流感情分析タスクにおけるベースラインよりも優れたSCMデータ拡張手法を提案する。提案手法は,マトリックス言語における文の一部を一定のマスクで戦略的に置き換えることで,分類精度が著しく向上することを示す。我々は低リソースと多言語の設定でデータ拡張手法をテストし、非常に少ない英・マラヤラムデータセットで7.73%の相対的な改善を実現した。
論文参考訳（メタデータ） (2022-11-14T18:50:16Z)
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
論文参考訳（メタデータ） (2022-04-15T03:44:00Z)
Modifying Memories in Transformer Models [71.48657481835767]
本稿では,トランスフォーマーモデルにおいて,特定の事実知識を巧みに修正するタスクを提案する。このタスクは、古い知識の更新、プライバシ保護、モデルに格納されている意図しないバイアスの排除など、多くのシナリオで有用である。
論文参考訳（メタデータ） (2020-12-01T09:39:13Z)
Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。