論文の概要: Is LLM-as-a-Judge Robust? Investigating Universal Adversarial Attacks on Zero-shot LLM Assessment

• arxiv url: http://arxiv.org/abs/2402.14016v1
• Date: Wed, 21 Feb 2024 18:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 14:08:38.523583
• Title: Is LLM-as-a-Judge Robust? Investigating Universal Adversarial Attacks on Zero-shot LLM Assessment
• Title（参考訳）: LLM-as-a-Judgeのロバストか? ゼロショットLDM評価におけるユニバーサル・アタックの検討
• Authors: Vyas Raina, Adian Liusie, Mark Gales
• Abstract要約: テキストに付加された場合,LLMを騙して高い評価スコアを与える,短い普遍的なフレーズを検索する。 SummEval と TopicalChat の実験では、単純な結合攻撃に対して LLM-scoring と 2 対 LLM-comparativeアセスメントの両方が脆弱であることが示された。 これは、さまざまな判断-LLMサイズ、ファミリー、メソッドにまたがる敵の脆弱性の広範性を強調します。
• 参考スコア（独自算出の注目度）: 10.05719021957877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are powerful zero-shot assessors and are increasingly used in real-world situations such as for written exams or benchmarking systems. Despite this, no existing work has analyzed the vulnerability of judge-LLMs against adversaries attempting to manipulate outputs. This work presents the first study on the adversarial robustness of assessment LLMs, where we search for short universal phrases that when appended to texts can deceive LLMs to provide high assessment scores. Experiments on SummEval and TopicalChat demonstrate that both LLM-scoring and pairwise LLM-comparative assessment are vulnerable to simple concatenation attacks, where in particular LLM-scoring is very susceptible and can yield maximum assessment scores irrespective of the input text quality. Interestingly, such attacks are transferable and phrases learned on smaller open-source LLMs can be applied to larger closed-source models, such as GPT3.5. This highlights the pervasive nature of the adversarial vulnerabilities across different judge-LLM sizes, families and methods. Our findings raise significant concerns on the reliability of LLMs-as-a-judge methods, and underscore the importance of addressing vulnerabilities in LLM assessment methods before deployment in high-stakes real-world scenarios.
• Abstract（参考訳）: 大規模言語モデル(llm)は強力なゼロショット評価器であり、筆記試験やベンチマークシステムなど現実世界の状況でますます使われている。 それにもかかわらず、既存の研究では、出力を操作しようとする敵に対するジャッジllmの脆弱性を分析していない。 本研究は,テキストに付加することでllmを欺き,高い評価スコアを与えることができる短い普遍句を探索する,アセスメントllmの対向的ロバスト性に関する最初の研究である。 SummEval と TopicalChat の実験では、LLM-scoring と LLM-comparative の両方が単純な結合攻撃に対して脆弱であり、特に LLM-scoring は非常に感受性が高く、入力テキストの品質に関わらず最大評価スコアが得られることを示した。 興味深いことに、そのような攻撃は転送可能であり、小さいオープンソース LLM で学んだフレーズは GPT3.5 のような大型のクローズドソースモデルに適用できる。 これは、さまざまな判断-LLMサイズ、ファミリー、メソッドにまたがる敵の脆弱性の広範性を強調します。 本研究は,LLMの信頼性に関する重要な懸念を提起し,LLM評価手法における脆弱性への対処の重要性を明らかにした。

関連論文リスト

• LLM Detectors Still Fall Short of Real World: Case of LLM-Generated Short News-Like Posts [7.680851067579922]
  本稿では、中程度に洗練された攻撃者によって生成される短いニュースのような投稿という、情報操作における重要な設定に焦点を当てる。 既存のLCM検出器は、ゼロショットでも目的訓練でも、その環境での実際の使用準備が整っていないことを実証する。 LLMをまたいで汎用化された目的学習型検出器を開発し、見知らぬ攻撃を行うことができるが、新しい人文テキストへの一般化には失敗する。
  論文  参考訳（メタデータ） (2024-09-05T06:55:13Z)
• Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models [47.545382591646565]
  大きな言語モデル(LLM)は、言語理解と人間レベルのテキストの生成に優れています。 LLMは、悪意のあるユーザーがモデルに望ましくないテキストを生成するよう促す敵攻撃の影響を受けやすい。 本研究では,対象のLSMから偏りのある応答を抽出する逆方向のプロンプトを自動生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2024-08-07T17:11:34Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は,大規模言語モデルが特定のグループに対する暗黙の偏見を厳格に評価する。 我々は,4つの共通のバイアス型の評価データセットを構築した3つのアタックアプローチ,すなわちDguise,Deception,Teachingを提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Can Many-Shot In-Context Learning Help LLMs as Evaluators? A Preliminary Empirical Study [14.906150451947443]
  大規模言語モデル(LLM)における潜在的なバイアスを軽減するために,評価者を支援するため,多発性ICLプロンプトを2つ検討した。 設計したプロンプトに基づいて,テキスト内サンプルのスケーリングが評価結果の一貫性と品質に与える影響について検討する。 GPT-4oのような高度なLCMは、ゼロショット方式よりも多ショット方式の方が優れていることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-06-17T15:11:58Z)
• Don't Say No: Jailbreaking LLM by Suppressing Refusal [13.666830169722576]
  本研究では,バニラ目標損失が最適でない理由を最初に明らかにし,損失目標を探索・拡張し,DSN(Don't Say No)攻撃を導入する。 Refusalキーワードマッチングのような既存の評価では、多くの偽陽性および偽陰性インスタンスが明らかである。 この課題を克服するために,自然言語推論(NLI)の矛盾評価と2つの外部LCM評価器を新たに組み込んだアンサンブル評価パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-25T07:15:23Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• AttackEval: How to Evaluate the Effectiveness of Jailbreak Attacking on Large Language Models [29.92550386563915]
  本稿では,大規模言語モデルに対するジェイルブレイク攻撃の有効性を評価するための,革新的なフレームワークを提案する。 粗粒度評価と細粒度評価の2つの異なる評価フレームワークを提案する。 我々は、ジェイルブレイクのプロンプトに特化して、総合的な真実データセットを開発する。
  論文  参考訳（メタデータ） (2024-01-17T06:42:44Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [82.98081731588717]
  大規模な言語モデルと外部コンテンツの統合は、間接的にインジェクション攻撃を行うアプリケーションを公開する。 本稿では,BIPIAと呼ばれる間接的インジェクション攻撃のリスクを評価するための最初のベンチマークについて紹介する。 我々は,素早い学習に基づく2つのブラックボックス法と,逆行訓練による微調整に基づくホワイトボックス防御法を開発した。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。