論文の概要: Can You Trust Your Metric? Automatic Concatenation-Based Tests for Metric Validity

• arxiv url: http://arxiv.org/abs/2408.12259v1
• Date: Thu, 22 Aug 2024 09:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 14:33:24.936841
• Title: Can You Trust Your Metric? Automatic Concatenation-Based Tests for Metric Validity
• Title（参考訳）: メトリクスを信頼できますか? 自動結合によるメトリクス妥当性テスト
• Authors: Ora Nova Fandina, Leshem Choshen, Eitan Farchi, George Kour, Yotam Perlitz, Orna Raz,
• Abstract要約: GPTをベースとした有害度検出指標は、決定フリッピング現象を示す。 GPT-4oのような高度な計量でさえ、入力順序に非常に敏感である。
• 参考スコア（独自算出の注目度）: 9.355471292024061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consider a scenario where a harmfulness detection metric is employed by a system to filter unsafe responses generated by a Large Language Model. When analyzing individual harmful and unethical prompt-response pairs, the metric correctly classifies each pair as highly unsafe, assigning the highest score. However, when these same prompts and responses are concatenated, the metric's decision flips, assigning the lowest possible score, thereby misclassifying the content as safe and allowing it to bypass the filter. In this study, we discovered that several harmfulness LLM-based metrics, including GPT-based, exhibit this decision-flipping phenomenon. Additionally, we found that even an advanced metric like GPT-4o is highly sensitive to input order. Specifically, it tends to classify responses as safe if the safe content appears first, regardless of any harmful content that follows, and vice versa. This work introduces automatic concatenation-based tests to assess the fundamental properties a valid metric should satisfy. We applied these tests in a model safety scenario to assess the reliability of harmfulness detection metrics, uncovering a number of inconsistencies.
• Abstract（参考訳）: 大規模言語モデルによって生成された安全でない応答をフィルタリングするシステムによって有害度検出指標が使用されるシナリオを考えてみましょう。 個人が有害で非倫理的なプロンプト・レスポンスのペアを分析する際、基準はそれぞれのペアを高度に安全でないものとして正しく分類し、最高スコアを割り当てる。 しかし、これらの同じプロンプトと応答が結合されると、メートル法の決定は反転し、可能な限り低いスコアを割り当て、コンテンツの安全性を誤分類し、フィルタをバイパスする。 そこで本研究では,GPTをベースとしたLSMによる有害な指標が,この決定緩和現象を示すことを発見した。 さらに、GPT-4oのような高度な計量でさえ入力順序に非常に敏感であることがわかった。 具体的には、安全コンテンツが最初に現れる場合、次に続く有害コンテンツに関係なく、応答を安全であると分類する傾向があります。 この研究は、有効な計量が満たすべき基本特性を評価するために、自動連結ベースのテストを導入する。 これらの試験をモデル安全シナリオに適用し、有害度検出指標の信頼性を評価し、いくつかの矛盾点を明らかにした。

関連論文リスト

• Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
  コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。 オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。 その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-15T20:32:07Z)
• Safe-Embed: Unveiling the Safety-Critical Knowledge of Sentence Encoders [5.070104802923903]
  UnsafeプロンプトはLarge Language Models (LLM)に重大な脅威をもたらす 本稿では,安全でないプロンプトと区別する文エンコーダの可能性について検討する。 我々は、この能力を測定するために、新しいペアワイズデータセットとカテゴリパーティメトリックを導入します。
  論文  参考訳（メタデータ） (2024-07-09T13:35:54Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• SimpleSafetyTests: a Test Suite for Identifying Critical Safety Risks in Large Language Models [15.896567445646784]
  このような重要な安全性リスクを迅速かつ体系的に識別するための新しいテストスイートとしてSimpleSafetyTests(SST)を紹介します。 テストスイートは、5つのハーネス領域にわたる100のテストプロンプトで構成されており、LLMは、ほとんどのアプリケーションにおいて、コンプライアンスを拒否すべきである。 いくつかのモデルは単一の安全でない応答を与えないが、ほとんどのモデルは20%以上のプロンプトに対して安全でない応答を与え、極端に50%以上の安全でない応答を与える。
  論文  参考訳（メタデータ） (2023-11-14T18:33:43Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)
• Certifying LLM Safety against Adversarial Prompting [75.19953634352258]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)
• APPLS: Evaluating Evaluation Metrics for Plain Language Summarization [18.379461020500525]
  本研究では,Plain Language Summarization (PLS) のメトリクス評価を目的とした,詳細なメタ評価テストベッド APPLS を提案する。 従来の作業から4つのPLS基準を特定し,これらの基準に対応する摂動のセットを定義した。 APPLSを用いて、自動スコア、語彙特徴、LLMプロンプトに基づく評価を含む14のメトリクスのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:59:19Z)
• Untargeted Near-collision Attacks on Biometrics: Real-world Bounds and Theoretical Limits [0.0]
  オンラインとオフラインの両方、そして識別モードと検証モードの両方で実行できる未ターゲティングな攻撃に焦点を当てます。 我々は、これらのシステムのセキュリティに対処するために、False Match Rate(FMR)とFalse Positive Identification Rate(FPIR)を用いる。 この距離空間とシステムパラメータの研究は、標的外攻撃の複雑さと近接衝突の確率を与える。
  論文  参考訳（メタデータ） (2023-04-04T07:17:31Z)
• REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation [63.46331073232526]
  オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。 予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。 本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
  論文  参考訳（メタデータ） (2021-05-30T10:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。