論文の概要: Navigating the OverKill in Large Language Models

• arxiv url: http://arxiv.org/abs/2401.17633v1
• Date: Wed, 31 Jan 2024 07:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 15:28:25.183927
• Title: Navigating the OverKill in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるOverKillのナビゲーション
• Authors: Chenyu Shi, Xiao Wang, Qiming Ge, Songyang Gao, Xianjun Yang, Tao Gui, Qi Zhang, Xuanjing Huang, Xun Zhao, Dahua Lin
• Abstract要約: モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
• 参考スコア（独自算出の注目度）: 84.62340510027042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are meticulously aligned to be both helpful and harmless. However, recent research points to a potential overkill which means models may refuse to answer benign queries. In this paper, we investigate the factors for overkill by exploring how models handle and determine the safety of queries. Our findings reveal the presence of shortcuts within models, leading to an over-attention of harmful words like 'kill' and prompts emphasizing safety will exacerbate overkill. Based on these insights, we introduce Self-Contrastive Decoding (Self-CD), a training-free and model-agnostic strategy, to alleviate this phenomenon. We first extract such over-attention by amplifying the difference in the model's output distributions when responding to system prompts that either include or omit an emphasis on safety. Then we determine the final next-token predictions by downplaying the over-attention from the model via contrastive decoding. Empirical results indicate that our method has achieved an average reduction of the refusal rate by 20\% while having almost no impact on safety.
• Abstract（参考訳）: 大規模言語モデルは、有益かつ無害であるように細心の注意を払っている。 しかし、最近の研究は、モデルが良心的なクエリに答えることを拒否する可能性がある可能性を指摘している。 本稿では,モデルがどのように対処し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上より,モデル内へのショートカットの存在が明らかとなり,"kill"のような有害な単語が過度に注目され,安全性の強調が過剰なスキルを悪化させる可能性が示唆された。 これらの知見に基づき、この現象を緩和するために、トレーニングフリーかつモデル非依存な戦略である自己一貫性復号(self-cd)を導入する。 まず,安全性を重視したシステムプロンプトに応答する際に,モデルの出力分布の違いを増幅することで,過度な注意を抽出した。 そして、コントラッシブデコーディングにより、モデルから過剰な注意を下書きすることで、最終的な次点予測を決定する。 実験結果から, 本手法は, 安全性にほとんど影響を与えず, 拒絶率を20\%低下させた。

関連論文リスト

• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• Single Character Perturbations Break LLM Alignment [20.79833694266861]
  モデル入力の端に空間を付加するだけで、モデルディフェンスを壊すことが可能であることを示す。 トークン化されたトレーニングデータに単一空間が存在する状況は、モデルにトリガーされた時にリストを生成することを奨励する。 本研究は, 現行モデルアライメントの脆弱さを浮き彫りにして, より堅牢なアライメント手法の開発の重要性を推し進めるものである。
  論文  参考訳（メタデータ） (2024-07-03T16:03:10Z)
• QUEEN: Query Unlearning against Model Extraction [22.434812818540966]
  モデル抽出攻撃は、ディープラーニングモデルのセキュリティとプライバシに対して、無視できない脅威となる。 本稿では,QUEEN(QUEry unlEarNing)を提案する。
  論文  参考訳（メタデータ） (2024-07-01T13:01:41Z)
• Refusal in Language Models Is Mediated by a Single Direction [4.532520427311685]
  リファリングは1次元のサブスペースによって媒介され、最大72Bのパラメータを持つ13の人気のオープンソースチャットモデルにまたがる。 そこで本研究では,他の機能に最小限の影響を伴って拒絶を手術的に無効にする,新しいホワイトボックス・ジェイルブレイク法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T16:36:12Z)
• Preemptive Answer "Attacks" on Chain-of-Thought Reasoning [7.233752893356647]
  大きな言語モデル(LLM)は、Chain-of-Thoughtプロンプトと組み合わせることで、印象的な推論機能を示す。 本稿では, LLMが推論に係わる前に解答を得る, プリエンプティブな解答という新しいシナリオを紹介する。 実験により、プリエンプティブな回答は、さまざまなCoTメソッドと幅広いデータセットにわたるモデルの推論能力を著しく損なうことが明らかになった。
  論文  参考訳（メタデータ） (2024-05-31T15:15:04Z)
• Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
  大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。 本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。 本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
  論文  参考訳（メタデータ） (2024-02-19T18:16:51Z)
• Are We Falling in a Middle-Intelligence Trap? An Analysis and Mitigation of the Reversal Curse [73.65112477688353]
  近年の研究では「逆の呪い」として知られる大きな言語モデルにおける現象が強調されている。 我々は、逆の呪いは特定のモデルの訓練目的の結果であると主張している。 本稿では、逆の呪いを軽減するために、新しい訓練手法BI Casual Language Modeling Optimization (BICO)を提案する。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• Language Model Unalignment: Parametric Red-Teaming to Expose Hidden Harms and Biases [32.2246459413988]
  Red-teamingは、モデルの安全行動をジェイルブレイクして、クエリの有害性を無視した有用なエージェントとして機能させることを目的としている。 我々は、安全研究、すなわち、Unalignmentを通してのレッドチームについて、新しい視点を提示する。 統一性はモデルパラメータを調整し、モデルの振舞いに深く根付いていないモデルガードレールを壊す。
  論文  参考訳（メタデータ） (2023-10-22T13:55:46Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。