論文の概要: Is LLM-as-a-Judge Robust? Investigating Universal Adversarial Attacks on Zero-shot LLM Assessment

• arxiv url: http://arxiv.org/abs/2402.14016v2
• Date: Thu, 4 Jul 2024 12:34:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 23:53:32.905344
• Title: Is LLM-as-a-Judge Robust? Investigating Universal Adversarial Attacks on Zero-shot LLM Assessment
• Title（参考訳）: LLM-as-a-Judgeのロバストか? ゼロショットLDM評価におけるユニバーサル・アタックの検討
• Authors: Vyas Raina, Adian Liusie, Mark Gales,
• Abstract要約: LLM(Large Language Models)は、筆記試験やベンチマークシステムなどの実世界の状況で使用される強力なゼロショットアセスメントである。 本研究では,LLMを判断し,膨らませたスコアを判断するために,短い普遍的対数句を欺くことができることを示す。 判定-LLMは,絶対スコアリングに使用する場合,これらの攻撃に対して有意に感受性が高いことが判明した。
• 参考スコア（独自算出の注目度）: 8.948475969696075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are powerful zero-shot assessors used in real-world situations such as assessing written exams and benchmarking systems. Despite these critical applications, no existing work has analyzed the vulnerability of judge-LLMs to adversarial manipulation. This work presents the first study on the adversarial robustness of assessment LLMs, where we demonstrate that short universal adversarial phrases can be concatenated to deceive judge LLMs to predict inflated scores. Since adversaries may not know or have access to the judge-LLMs, we propose a simple surrogate attack where a surrogate model is first attacked, and the learned attack phrase then transferred to unknown judge-LLMs. We propose a practical algorithm to determine the short universal attack phrases and demonstrate that when transferred to unseen models, scores can be drastically inflated such that irrespective of the assessed text, maximum scores are predicted. It is found that judge-LLMs are significantly more susceptible to these adversarial attacks when used for absolute scoring, as opposed to comparative assessment. Our findings raise concerns on the reliability of LLM-as-a-judge methods, and emphasize the importance of addressing vulnerabilities in LLM assessment methods before deployment in high-stakes real-world scenarios.
• Abstract（参考訳）: LLM(Large Language Models)は、筆記試験やベンチマークシステムなどの実世界の状況で使用される強力なゼロショットアセスメントである。 これらの重要な応用にもかかわらず、既存の研究は、敵の操作に対する判断-LLMの脆弱性を分析していない。 本研究は,LLMの対角的ロバスト性に関する最初の研究であり,短い普遍的対角的フレーズが,LLMの判断を騙して膨らませたスコアを予測できることを実証する。 敵は、判定LLMを知らない、あるいはアクセスできないため、代理モデルが最初に攻撃される単純な代理攻撃を提案し、学習した攻撃フレーズを未知の判定LLMに転送する。 本研究では,短い普遍的な攻撃句を決定するための実用的なアルゴリズムを提案し,未知のモデルに移動すると,評価されたテキストによらず,最大スコアが予測されるように,スコアを劇的に膨らませることができることを示した。 その結果, 判定-LLMは, 絶対スコアリングにおいて, 比較評価とは対照的に, これらの攻撃に対して有意に感受性が高いことがわかった。 本研究は, LLM-as-a-judge法の信頼性に関する懸念を提起し, 実世界のシナリオに展開する前に, LLMアセスメント手法の脆弱性に対処することの重要性を強調した。

関連論文リスト

• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は,大規模言語モデルが特定のグループに対する暗黙の偏見を厳格に評価する。 我々は,4つの共通のバイアス型の評価データセットを構築した3つのアタックアプローチ,すなわちDguise,Deception,Teachingを提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Finding Blind Spots in Evaluator LLMs with Interpretable Checklists [23.381287828102995]
  テキスト生成タスクにおける評価器として,Large Language Models (LLMs) の有効性を検討する。 我々は,4つの重要な能力を評価する上で,評価用LLMの習熟度を評価するための新しいフレームワークであるFBIを提案する。
  論文  参考訳（メタデータ） (2024-06-19T10:59:48Z)
• Don't Say No: Jailbreaking LLM by Suppressing Refusal [6.86204821852287]
  大規模言語モデル(LLM)は、"jailbreaking"攻撃に対して脆弱である。 ジェイルブレイク攻撃の1つのカテゴリは、LDMを誘導して肯定的な反応を生成することで敵攻撃としてタスクを再編成することである。 本研究はDSN(Don't Say No)攻撃を導入し、LDMが肯定的な反応を発生させるだけでなく、拒絶を抑える目的を新たに強化する。
  論文  参考訳（メタデータ） (2024-04-25T07:15:23Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [82.98081731588717]
  大規模な言語モデルと外部コンテンツの統合は、間接的にインジェクション攻撃を行うアプリケーションを公開する。 本稿では,BIPIAと呼ばれる間接的インジェクション攻撃のリスクを評価するための最初のベンチマークについて紹介する。 我々は,素早い学習に基づく2つのブラックボックス法と,逆行訓練による微調整に基づくホワイトボックス防御法を開発した。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃(MIA)は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。 具体的には、LLMの記憶はトレーニングプロセス中に必然的に必要であり、オーバーフィッティング前に発生するので、より信頼性の高いメンバーシップ信号を導入する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。