論文の概要: CollabEdit: Towards Non-destructive Collaborative Knowledge Editing
- arxiv url: http://arxiv.org/abs/2410.09508v1
- Date: Sat, 12 Oct 2024 12:10:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 14:04:51.733088
- Title: CollabEdit: Towards Non-destructive Collaborative Knowledge Editing
- Title（参考訳）: CollabEdit: 非破壊的なコラボレーション知識編集を目指して
- Authors: Jiamu Zheng, Jinghuai Zhang, Tianyu Du, Xuhong Zhang, Jianwei Yin, Tao Lin,
- Abstract要約: この写本は、共同知識編集の第1回研究に掘り下げられている。
知識の重複、知識の衝突、知識の忘れという3つの課題を特定します。
グローバルなKE動作を模倣する新しいモデルマージ機構を用いた非破壊的協調型KEフレームワークであるCOLLABEDITを提案する。
- 参考スコア（独自算出の注目度）: 23.013415033531974
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collaborative learning of large language models (LLMs) has emerged as a new paradigm for utilizing private data from different parties to guarantee efficiency and privacy. Meanwhile, Knowledge Editing (KE) for LLMs has also garnered increased attention due to its ability to manipulate the behaviors of LLMs explicitly, yet leaves the collaborative KE case (in which knowledge edits of multiple parties are aggregated in a privacy-preserving and continual manner) unexamined. To this end, this manuscript dives into the first investigation of collaborative KE, in which we start by carefully identifying the unique three challenges therein, including knowledge overlap, knowledge conflict, and knowledge forgetting. We then propose a non-destructive collaborative KE framework, COLLABEDIT, which employs a novel model merging mechanism to mimic the global KE behavior while preventing the severe performance drop. Extensive experiments on two canonical datasets demonstrate the superiority of COLLABEDIT compared to other destructive baselines, and results shed light on addressing three collaborative KE challenges and future applications.
- Abstract（参考訳）: 大規模言語モデル(LLM)の協調学習は、効率性とプライバシを保証するために、異なるパーティからのプライベートデータを活用するための新しいパラダイムとして登場した。
一方、LLMの動作を明示的に操作する能力から、知識編集(KE)にも注目が集まっているが、協調的なKEケース(複数のパーティの知識編集がプライバシー保護と継続的な方法で集約される)は未検討のままである。
この目的のために,本書は,知識の重複,知識の矛盾,知識の忘れなど,その3つの課題を慎重に識別することから始められた,共同KEに関する最初の研究である。
次に,非破壊的協調型KEフレームワークであるCOLLABEDITを提案する。
2つの標準データセットに対する大規模な実験は、他の破壊的ベースラインと比較して、COLLABEDITの優位性を示しており、3つの共同KE課題と将来の応用に光を当てている。
関連論文リスト
- Towards Unified Multimodal Editing with Enhanced Knowledge Collaboration [107.31481207855835]
内在的知識の編集や外部知識の活用といった現在の手法は、それぞれに長所と短所がある。
固有知識編集と外部知識を活用した統一的な視点を確立するための,新しいマルチモーダル編集手法UniKEを提案する。
論文 参考訳（メタデータ） (2024-09-30T02:13:53Z) - Multi-level Shared Knowledge Guided Learning for Knowledge Graph Completion [26.40236457109129]
データセットとタスクレベルの両方で動作する多レベル共有知識ガイド学習法(SKG)を提案する。
データセットレベルでは、SKG-KGCは、テキスト要約を通じてエンティティセット内の共有機能を特定することによって、元のデータセットを広げる。
タスクレベルでは、ヘッドエンティティ予測、関係予測、テールエンティティ予測という3つの典型的なKGCサブタスクに対して、動的に調整された損失重みを持つ革新的なマルチタスク学習アーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-05-08T03:27:46Z) - Collaborative Active Learning in Conditional Trust Environment [1.3846014191157405]
複数の協力者が既存のデータやモデルを開示することなく、組み合わせた機械学習機能を活用して新しいドメインを探索するパラダイムである、協調型アクティブラーニングについて検討する。
このコラボレーションは、(a)直接モデルとデータ開示の必要性を排除し、プライバシとセキュリティの懸念に対処する、(b)直接データ交換なしで異なるデータソースとインサイトの使用を可能にする、(c)共有ラベリングコストを通じてコスト効率とリソース効率を促進する、といういくつかの利点を提供する。
論文 参考訳（メタデータ） (2024-03-27T10:40:27Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。
我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。
DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
論文 参考訳（メタデータ） (2024-01-19T03:48:27Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - A Framework for Incentivized Collaborative Learning [15.44652093599549]
我々は、協調学習のインセンティブとなる一般的なフレームワークであるICLを提案する。
連合学習,支援学習,マルチアームバンディットの特定の症例に対するICLの広範な適用性を示す。
論文 参考訳（メタデータ） (2023-05-26T16:00:59Z) - Complementary Calibration: Boosting General Continual Learning with
Collaborative Distillation and Self-Supervision [47.374412281270594]
General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。
破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。
補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-03T06:35:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。