論文の概要: UniAdapt: A Universal Adapter for Knowledge Calibration

• arxiv url: http://arxiv.org/abs/2410.00454v1
• Date: Tue, 1 Oct 2024 07:18:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 05:27:01.788799
• Title: UniAdapt: A Universal Adapter for Knowledge Calibration
• Title（参考訳）: UniAdapt: 知識校正のためのユニバーサルアダプタ
• Authors: Tai D. Nguyen, Long H. Pham, Jun Sun,
• Abstract要約: 大きな言語モデル(LLM)は、エラーを訂正し、継続的な進化する知識とペースを維持するために頻繁な更新を必要とする。 モデル編集における最近の研究は、一般化と局所性のバランスをとる上での課題を浮き彫りにした。 知識キャリブレーションのためのユニバーサルアダプタUniAdaptを紹介する。
• 参考スコア（独自算出の注目度）: 5.732271982985626
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large Language Models (LLMs) require frequent updates to correct errors and keep pace with continuously evolving knowledge in a timely and effective manner. Recent research in it model editing has highlighted the challenges in balancing generalization and locality, especially in the context of lifelong model editing. We discover that inserting knowledge directly into the model often causes conflicts and potentially disrupts other unrelated pre-trained knowledge. To address this problem, we introduce UniAdapt, a universal adapter for knowledge calibration. Inspired by the Mixture of Experts architecture and Retrieval-Augmented Generation, UniAdapt is designed with a vector-assisted router that is responsible for routing inputs to appropriate experts. The router maintains a vector store, including multiple shards, to construct routing vectors based on semantic similarity search results. UniAdapt is fully model-agnostic and designed for seamless plug-and-play integration. Experimental results show that UniAdapt outperforms existing lifelong model editors and achieves exceptional results in most metrics.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、エラーを訂正し、継続的に進化する知識をタイムリーかつ効果的な方法でペースを維持するために、頻繁な更新を必要とする。 モデル編集における最近の研究は、特に生涯モデル編集の文脈において、一般化と局所性のバランスをとる上での課題を強調している。 モデルに直接知識を挿入すると、しばしば矛盾が生じ、他の無関係な事前学習された知識が破壊される可能性があることに気づきます。 この問題に対処するため,知識キャリブレーションのためのユニバーサルアダプタUniAdaptを導入する。 UniAdaptはMixture of ExpertsアーキテクチャとRetrieval-Augmented Generationにヒントを得て、ベクトルアシストルータで設計され、適切な専門家に入力をルーティングする。 ルータは、複数のシャードを含むベクトルストアを保持し、セマンティックな類似性検索結果に基づいてルーティングベクターを構築する。 UniAdaptは完全にモデルに依存しず、シームレスなプラグアンドプレイ統合用に設計されている。 実験の結果、UniAdaptは既存の生涯モデルエディタよりも優れており、ほとんどのメトリクスにおいて例外的な結果が得られることがわかった。

関連論文リスト

• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• Enhance Lifelong Model Editing with Continuous Data-Adapter Association [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 現在のアプローチでは、元のパラメータを凍結し、知識修正毎に新しいアダプタを割り当てることで、シーケンシャルな編集を管理している。 ELDER, textbfEnhancing textbfLifelong motextbfDel textbfEditing with mixtutextbfRe of Low-Rank Adapter (LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• MEMoE: Enhancing Model Editing with Mixture of Experts Adaptors [30.831866499812925]
  MEMoEは、Mixture of Experts (MoE)アーキテクチャと知識アンカールーティング戦略を利用したモデル編集アダプタである。 バッチ編集とシーケンシャルなバッチ編集の両方よりも,我々のアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-29T13:49:44Z)
• Auto-selected Knowledge Adapters for Lifelong Person Re-identification [54.42307214981537]
  Lifelong Person Re-Identificationは、異なる時間と場所にわたる重複しないデータセットから継続的に学習するシステムを必要とする。 リハーサルのない、あるいはリハーサルベースの既存のアプローチは、依然として破滅的な忘れ込みの問題に悩まされている。 本稿では,知識アダプタを採用した新しいフレームワークであるAdalReIDと,生涯学習のためのパラメータフリー自動選択機構を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:42:02Z)
• I2I: Initializing Adapters with Improvised Knowledge [15.452979531094567]
  改善。 連続学習アルゴリズムであるI2LiIは、蒸留により入ってくるタスクに対するアダプタを初期化する。 以前学習したタスク。 I2Iは独立に訓練されたアダプタよりも優れたタスク精度を実現している。
  論文  参考訳（メタデータ） (2023-04-04T23:51:48Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)
• K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters [136.75235546149995]
  本研究では,BERT や RoBERTa のような大規模事前学習モデルに知識を注入する問題について検討する。 既存のメソッドは通常、知識を注入する際、事前訓練されたモデルの元のパラメータを更新する。 K-Adapterは、事前訓練されたモデルの元のパラメータを固定し、多目的な知識注入モデルの開発を支援するフレームワークである。
  論文  参考訳（メタデータ） (2020-02-05T14:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。