論文の概要: Can You Trust Your Metric? Automatic Concatenation-Based Tests for Metric Validity

• arxiv url: http://arxiv.org/abs/2408.12259v1
• Date: Thu, 22 Aug 2024 09:57:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-23 14:33:24.936841
• Title: Can You Trust Your Metric? Automatic Concatenation-Based Tests for Metric Validity
• Title（参考訳）: メトリクスを信頼できますか? 自動結合によるメトリクス妥当性テスト
• Authors: Ora Nova Fandina, Leshem Choshen, Eitan Farchi, George Kour, Yotam Perlitz, Orna Raz,
• Abstract要約: GPTをベースとした有害度検出指標は、決定フリッピング現象を示す。 GPT-4oのような高度な計量でさえ、入力順序に非常に敏感である。
• 参考スコア（独自算出の注目度）: 9.355471292024061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consider a scenario where a harmfulness detection metric is employed by a system to filter unsafe responses generated by a Large Language Model. When analyzing individual harmful and unethical prompt-response pairs, the metric correctly classifies each pair as highly unsafe, assigning the highest score. However, when these same prompts and responses are concatenated, the metric's decision flips, assigning the lowest possible score, thereby misclassifying the content as safe and allowing it to bypass the filter. In this study, we discovered that several harmfulness LLM-based metrics, including GPT-based, exhibit this decision-flipping phenomenon. Additionally, we found that even an advanced metric like GPT-4o is highly sensitive to input order. Specifically, it tends to classify responses as safe if the safe content appears first, regardless of any harmful content that follows, and vice versa. This work introduces automatic concatenation-based tests to assess the fundamental properties a valid metric should satisfy. We applied these tests in a model safety scenario to assess the reliability of harmfulness detection metrics, uncovering a number of inconsistencies.
• Abstract（参考訳）: 大規模言語モデルによって生成された安全でない応答をフィルタリングするシステムによって有害度検出指標が使用されるシナリオを考えてみましょう。 個人が有害で非倫理的なプロンプト・レスポンスのペアを分析する際、基準はそれぞれのペアを高度に安全でないものとして正しく分類し、最高スコアを割り当てる。 しかし、これらの同じプロンプトと応答が結合されると、メートル法の決定は反転し、可能な限り低いスコアを割り当て、コンテンツの安全性を誤分類し、フィルタをバイパスする。 そこで本研究では,GPTをベースとしたLSMによる有害な指標が,この決定緩和現象を示すことを発見した。 さらに、GPT-4oのような高度な計量でさえ入力順序に非常に敏感であることがわかった。 具体的には、安全コンテンツが最初に現れる場合、次に続く有害コンテンツに関係なく、応答を安全であると分類する傾向があります。 この研究は、有効な計量が満たすべき基本特性を評価するために、自動連結ベースのテストを導入する。 これらの試験をモデル安全シナリオに適用し、有害度検出指標の信頼性を評価し、いくつかの矛盾点を明らかにした。

関連論文リスト

• Safety Pretraining: Toward the Next Generation of Safe AI [61.2816320807586]
  モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。 i)600Bトークンをフィルタするために使用される1万GPT-4ラベルの例に基づいてトレーニングされた安全分類器,(ii)有害なWebデータのテキスト化によって生成された,これまでで最大の合成安全データセット,(iv)安全でないコンテンツのフラグ付けのために事前トレーニング中に注入されたハームフルネス・タグアノテーション。
  論文  参考訳（メタデータ） (2025-04-23T17:58:08Z)
• Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
  我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。 我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。 UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
  論文  参考訳（メタデータ） (2025-03-14T17:00:22Z)
• SafetyAnalyst: Interpretable, transparent, and steerable safety moderation for AI behavior [56.10557932893919]
  我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。 あらゆる有害かつ有益な効果を、完全に解釈可能な重みパラメータを用いて有害度スコアに集約する。
  論文  参考訳（メタデータ） (2024-10-22T03:38:37Z)
• Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
  コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。 オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。 その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-15T20:32:07Z)
• Safe-Embed: Unveiling the Safety-Critical Knowledge of Sentence Encoders [5.070104802923903]
  UnsafeプロンプトはLarge Language Models (LLM)に重大な脅威をもたらす 本稿では,安全でないプロンプトと区別する文エンコーダの可能性について検討する。 我々は、この能力を測定するために、新しいペアワイズデータセットとカテゴリパーティメトリックを導入します。
  論文  参考訳（メタデータ） (2024-07-09T13:35:54Z)
• Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• SafeInfer: Context Adaptive Decoding Time Safety Alignment for Large Language Models [5.6874111521946356]
  安全に整合した言語モデルは、しばしば脆弱で不均衡な安全メカニズムを示す。 文脈適応型デコード型安全アライメント戦略であるSafeInferを提案する。 HarmEvalは、広範な安全性評価のための新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-06-18T05:03:23Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• SimpleSafetyTests: a Test Suite for Identifying Critical Safety Risks in Large Language Models [15.896567445646784]
  このような重要な安全性リスクを迅速かつ体系的に識別するための新しいテストスイートとしてSimpleSafetyTests(SST)を紹介します。 テストスイートは、5つのハーネス領域にわたる100のテストプロンプトで構成されており、LLMは、ほとんどのアプリケーションにおいて、コンプライアンスを拒否すべきである。 いくつかのモデルは単一の安全でない応答を与えないが、ほとんどのモデルは20%以上のプロンプトに対して安全でない応答を与え、極端に50%以上の安全でない応答を与える。
  論文  参考訳（メタデータ） (2023-11-14T18:33:43Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• Certifying LLM Safety against Adversarial Prompting [75.19953634352258]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)
• APPLS: Evaluating Evaluation Metrics for Plain Language Summarization [18.379461020500525]
  本研究では,Plain Language Summarization (PLS) のメトリクス評価を目的とした,詳細なメタ評価テストベッド APPLS を提案する。 従来の作業から4つのPLS基準を特定し,これらの基準に対応する摂動のセットを定義した。 APPLSを用いて、自動スコア、語彙特徴、LLMプロンプトに基づく評価を含む14のメトリクスのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:59:19Z)
• Untargeted Near-collision Attacks on Biometrics: Real-world Bounds and Theoretical Limits [0.0]
  オンラインとオフラインの両方、そして識別モードと検証モードの両方で実行できる未ターゲティングな攻撃に焦点を当てます。 我々は、これらのシステムのセキュリティに対処するために、False Match Rate(FMR)とFalse Positive Identification Rate(FPIR)を用いる。 この距離空間とシステムパラメータの研究は、標的外攻撃の複雑さと近接衝突の確率を与える。
  論文  参考訳（メタデータ） (2023-04-04T07:17:31Z)
• REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation [63.46331073232526]
  オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。 予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。 本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
  論文  参考訳（メタデータ） (2021-05-30T10:04:13Z)
• Bayes Security: A Not So Average Metric [20.60340368521067]
  セキュリティシステムのデザイナは、ディファレンシャルプライバシ(DP)から派生したような最悪のセキュリティ指標を好む。 本稿では,暗号の優位性に触発されたセキュリティ指標ベイズセキュリティについて検討する。
  論文  参考訳（メタデータ） (2020-11-06T14:53:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。