論文の概要: Position: Editing Large Language Models Poses Serious Safety Risks

• arxiv url: http://arxiv.org/abs/2502.02958v1
• Date: Wed, 05 Feb 2025 07:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:42.615489
• Title: Position: Editing Large Language Models Poses Serious Safety Risks
• Title（参考訳）: ポジション:大規模言語モデルの編集は重大な安全リスクをもたらす
• Authors: Paul Youssef, Zhixue Zhao, Daniel Braun, Jörg Schlötterer, Christin Seifert,
• Abstract要約: 大規模言語モデルの編集は、ほとんど見落とされた深刻な安全性のリスクをもたらすと我々は主張する。 私たちはAIエコシステムの脆弱性を強調し、検証なしで更新されたモデルの無制限のアップロードとダウンロードを可能にします。 我々は、(i)悪質なモデル編集に対する研究用タンパー耐性モデルと対策をコミュニティに呼びかけ、(ii)AIエコシステムの確保に積極的に取り組みます。
• 参考スコア（独自算出の注目度）: 5.6897620867951435
• License:
• Abstract: Large Language Models (LLMs) contain large amounts of facts about the world. These facts can become outdated over time, which has led to the development of knowledge editing methods (KEs) that can change specific facts in LLMs with limited side effects. This position paper argues that editing LLMs poses serious safety risks that have been largely overlooked. First, we note the fact that KEs are widely available, computationally inexpensive, highly performant, and stealthy makes them an attractive tool for malicious actors. Second, we discuss malicious use cases of KEs, showing how KEs can be easily adapted for a variety of malicious purposes. Third, we highlight vulnerabilities in the AI ecosystem that allow unrestricted uploading and downloading of updated models without verification. Fourth, we argue that a lack of social and institutional awareness exacerbates this risk, and discuss the implications for different stakeholders. We call on the community to (i) research tamper-resistant models and countermeasures against malicious model editing, and (ii) actively engage in securing the AI ecosystem.
• Abstract（参考訳）: 大規模言語モデル(LLM)には、世界に関する大量の事実が含まれている。 これらの事実は時間が経つにつれて時代遅れになり、知識編集手法(KEs)の開発に繋がる。 このポジションペーパーでは、LSMの編集は、ほとんど見落とされた深刻な安全性のリスクをもたらすと論じている。 第一に、KEsが広く利用でき、安価で、高性能で、ステルス性が高いという事実は、悪質なアクターにとって魅力的なツールである。 第2に、KEsの悪意のあるユースケースについて議論し、KEsが様々な悪意のある目的にどのように容易に適応できるかを示す。 第三に、AIエコシステムの脆弱性を強調し、検証なしで最新のモデルの無制限アップロードとダウンロードを可能にします。 第4に、社会的・制度的な意識の欠如がリスクを悪化させ、異なる利害関係者への影響について議論する。 私たちはコミュニティに呼びかける 一 悪質なモデル編集に対する研究の改ざん及び対策 (II)AIエコシステムの確保に積極的に取り組みます。

関連論文リスト

• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Compromising Honesty and Harmlessness in Language Models via Deception Attacks [0.04499833362998487]
  ディセプション・アタック(deception attack)は、ユーザーが選択したトピックをトリガーし、他の人に正確さを保ちながら、ユーザーを誤解させるようなモデルをカスタマイズする。 詐欺モデルもまた有害性を示し、ヘイトスピーチ、ステレオタイプ、その他の有害な内容を生成する。
  論文  参考訳（メタデータ） (2025-02-12T11:02:59Z)
• Jailbreaking Large Language Models in Infinitely Many Ways [3.5674816606221182]
  我々は、最も強力なオープンソースLLMの保護を回避し、その安全ポリシーに明示的に違反するコンテンツを生成する方法を示す。 実装が容易な攻撃の2つのカテゴリについて,トークンと埋め込み空間の2つの防御戦略について論じる。
  論文  参考訳（メタデータ） (2025-01-18T15:39:53Z)
• Emerging Security Challenges of Large Language Models [6.151633954305939]
  大規模言語モデル(LLM)は、多くの異なる分野において短期間で記録的な普及を遂げた。 これらは、特定の下流タスクに合わせて調整されることなく、多様なデータでトレーニングされたオープンエンドモデルである。 従来の機械学習(ML)モデルは、敵の攻撃に対して脆弱である。
  論文  参考訳（メタデータ） (2024-12-23T14:36:37Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• Can LLMs be Fooled? Investigating Vulnerabilities in LLMs [4.927763944523323]
  LLM(Large Language Models)の出現は、自然言語処理(NLP)内の様々な領域で大きな人気を集め、膨大なパワーを誇っている。 本稿では,各脆弱性部の知見を合成し,新たな研究・開発の方向性を提案する。 現在の脆弱性の焦点を理解することで、将来のリスクを予測し軽減できます。
  論文  参考訳（メタデータ） (2024-07-30T04:08:00Z)
• Can Editing LLMs Inject Harm? [122.83469484328465]
  我々は,大規模言語モデルに対する新しいタイプの安全脅威として,知識編集を再構築することを提案する。 誤情報注入の危険性については,まずコモンセンス誤情報注入とロングテール誤情報注入に分類する。 偏見注入のリスクに対して, 偏見文をLLMに高効率で注入できるだけでなく, 1つの偏見文注入で偏見が増大することを発見した。
  論文  参考訳（メタデータ） (2024-07-29T17:58:06Z)
• Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes [0.0]
  大規模言語モデル(LLM)は、チャットボットやオートタスク補完エージェントなど、さまざまな領域で広く採用されている。 これらのモデルは、ジェイルブレイク、プロンプトインジェクション、プライバシリーク攻撃などの安全性上の脆弱性の影響を受けやすい。 本研究では,これらの変更がLLMの安全性に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-04-05T20:31:45Z)
• Cognitive Overload: Jailbreaking Large Language Models with Overloaded Logical Thinking [60.78524314357671]
  本研究では,大規模言語モデル(LLM)の認知的構造とプロセスをターゲットにした新しいジェイルブレイク攻撃のカテゴリについて検討する。 提案する認知的オーバーロードはブラックボックス攻撃であり、モデルアーキテクチャやモデルウェイトへのアクセスの知識は不要である。 AdvBenchとMasterKeyで実施された実験では、人気のあるオープンソースモデルであるLlama 2とプロプライエタリモデルであるChatGPTの両方を含む様々なLLMが、認知的オーバーロードによって妥協可能であることが明らかになった。
  論文  参考訳（メタデータ） (2023-11-16T11:52:22Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• Factuality Challenges in the Era of Large Language Models [113.3282633305118]
  大規模言語モデル(LLM)は、誤った、誤った、あるいは誤解を招くコンテンツを生成する。 LLMは悪意のあるアプリケーションに利用することができる。 これは、ユーザーを欺く可能性があるという点で、社会に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2023-10-08T14:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。