論文の概要: CollabEdit: Towards Non-destructive Collaborative Knowledge Editing

• arxiv url: http://arxiv.org/abs/2410.09508v2
• Date: Mon, 03 Feb 2025 08:17:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:08:02.682940
• Title: CollabEdit: Towards Non-destructive Collaborative Knowledge Editing
• Title（参考訳）: CollabEdit: 非破壊的なコラボレーション知識編集を目指して
• Authors: Jiamu Zheng, Jinghuai Zhang, Tianyu Du, Xuhong Zhang, Jianwei Yin, Tao Lin,
• Abstract要約: この写本は、共同知識編集の第1回研究に掘り下げられている。 知識の重複、知識の衝突、知識の忘れという3つの課題を特定します。 グローバルなKE動作を模倣する新しいモデルマージ機構を用いた非破壊的協調型KEフレームワークであるCOLLABEDITを提案する。
• 参考スコア（独自算出の注目度）: 23.013415033531974
• License:
• Abstract: Collaborative learning of large language models (LLMs) has emerged as a new paradigm for utilizing private data from different parties to guarantee efficiency and privacy. Meanwhile, Knowledge Editing (KE) for LLMs has also garnered increased attention due to its ability to manipulate the behaviors of LLMs explicitly, yet leaves the collaborative KE case (in which knowledge edits of multiple parties are aggregated in a privacy-preserving and continual manner) unexamined. To this end, this manuscript dives into the first investigation of collaborative KE, in which we start by carefully identifying the unique three challenges therein, including knowledge overlap, knowledge conflict, and knowledge forgetting. We then propose a non-destructive collaborative KE framework, COLLABEDIT, which employs a novel model merging mechanism to mimic the global KE behavior while preventing the severe performance drop. Extensive experiments on two canonical datasets demonstrate the superiority of COLLABEDIT compared to other destructive baselines, and results shed light on addressing three collaborative KE challenges and future applications. Our code is available at https://github.com/LINs-lab/CollabEdit.
• Abstract（参考訳）: 大規模言語モデル(LLM)の協調学習は、効率性とプライバシを保証するために、異なるパーティからのプライベートデータを活用するための新しいパラダイムとして登場した。 一方、LLMの動作を明示的に操作する能力から、知識編集(KE)にも注目が集まっているが、協調的なKEケース(複数のパーティの知識編集がプライバシー保護と継続的な方法で集約される)は未検討のままである。 この目的のために,本書は,知識の重複,知識の矛盾,知識の忘れなど,その3つの課題を慎重に識別することから始められた,共同KEに関する最初の研究である。 次に,非破壊的協調型KEフレームワークであるCOLLABEDITを提案する。 2つの標準データセットに対する大規模な実験は、他の破壊的ベースラインと比較して、COLLABEDITの優位性を示しており、3つの共同KE課題と将来の応用に光を当てている。 私たちのコードはhttps://github.com/LINs-lab/CollabEdit.comから入手可能です。

関連論文リスト

• Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating [61.70705744491162]
  大きな言語モデル(LLM)は、人間の知識を符号化することで自然言語処理に優れる。 LLMの更新には、不要な知識を取り除くための学習と、新しい情報を統合するための編集という、2つの重要なタスクが同時に行われる。 知識コードブックに基づく LLM 更新のためのコンフリクトフリーフレームワーク Loka を提案する。
  論文  参考訳（メタデータ） (2025-01-31T20:48:46Z)
• Knowledge Editing through Chain-of-Thought [12.270274049887298]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる例外的な機能を示している。 これらのモデルを世界知識の進化とともに最新に保つことは、頻繁な再トレーニングのコストが高いため、依然として大きな課題である。 本研究では,リトレーニングを伴わずに,様々なタスクにまたがるLSMを柔軟かつ効率的に更新する新しい知識編集フレームワークEditCoTを提案する。
  論文  参考訳（メタデータ） (2024-12-23T17:17:50Z)
• Towards Unified Multimodal Editing with Enhanced Knowledge Collaboration [107.31481207855835]
  内在的知識の編集や外部知識の活用といった現在の手法は、それぞれに長所と短所がある。 固有知識編集と外部知識を活用した統一的な視点を確立するための,新しいマルチモーダル編集手法UniKEを提案する。
  論文  参考訳（メタデータ） (2024-09-30T02:13:53Z)
• Collaborative Active Learning in Conditional Trust Environment [1.3846014191157405]
  複数の協力者が既存のデータやモデルを開示することなく、組み合わせた機械学習機能を活用して新しいドメインを探索するパラダイムである、協調型アクティブラーニングについて検討する。 このコラボレーションは、(a)直接モデルとデータ開示の必要性を排除し、プライバシとセキュリティの懸念に対処する、(b)直接データ交換なしで異なるデータソースとインサイトの使用を可能にする、(c)共有ラベリングコストを通じてコスト効率とリソース効率を促進する、といういくつかの利点を提供する。
  論文  参考訳（メタデータ） (2024-03-27T10:40:27Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Federated Self-Supervised Contrastive Learning via Ensemble Similarity Distillation [42.05438626702343]
  本稿では,未ラベルのクライアントデータによる良好な表現空間の学習の実現可能性について検討する。 本稿では,アーキテクチャに依存しないローカルトレーニングとコミュニケーション効率のよいグローバルアグリゲーションをサポートする,自己指導型コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-29T02:13:22Z)
• Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision [47.374412281270594]
  General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。 破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。 補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-03T06:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。