論文の概要: PRSM: A Measure to Evaluate CLIP's Robustness Against Paraphrases

• arxiv url: http://arxiv.org/abs/2511.11141v1
• Date: Fri, 14 Nov 2025 10:19:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.536391
• Title: PRSM: A Measure to Evaluate CLIP's Robustness Against Paraphrases
• Title（参考訳）: PRSM:CLIPのパラフレーズに対するロバスト性を評価する尺度
• Authors: Udo Schlegel, Franziska Weeber, Jian Lan, Thomas Seidl,
• Abstract要約: Contrastive Language-Image Pre-Training (CLIP) は、大規模トレーニングを通じてテキストと画像表現を整列する多モーダルモデルである。 ゼロショットや少数ショットのタスクで強く機能するが、言語の変化、特にパラフレーズに対する頑健さはいまだに未発見のままである。 本稿では、CLIPのパラフレーズクエリに対する感度を定量化するための新しい尺度である、パラフレーズランキング安定度尺度(PRSM)を紹介する。
• 参考スコア（独自算出の注目度）: 9.398106516502477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive Language-Image Pre-training (CLIP) is a widely used multimodal model that aligns text and image representations through large-scale training. While it performs strongly on zero-shot and few-shot tasks, its robustness to linguistic variation, particularly paraphrasing, remains underexplored. Paraphrase robustness is essential for reliable deployment, especially in socially sensitive contexts where inconsistent representations can amplify demographic biases. In this paper, we introduce the Paraphrase Ranking Stability Metric (PRSM), a novel measure for quantifying CLIP's sensitivity to paraphrased queries. Using the Social Counterfactuals dataset, a benchmark designed to reveal social and demographic biases, we empirically assess CLIP's stability under paraphrastic variation, examine the interaction between paraphrase robustness and gender, and discuss implications for fairness and equitable deployment of multimodal systems. Our analysis reveals that robustness varies across paraphrasing strategies, with subtle yet consistent differences observed between male- and female-associated queries.
• Abstract（参考訳）: Contrastive Language-Image Pre-Training (CLIP) は、大規模トレーニングを通じてテキストと画像表現を整列する多モーダルモデルである。 ゼロショットや少数ショットのタスクで強く機能するが、言語的変化、特にパラフレーズに対する頑健さはいまだに未発見のままである。 パラフレーズの堅牢性は、特に不整合表現が人口統計バイアスを増幅する社会的に敏感な文脈において、信頼性の高い展開に不可欠である。 本稿では、CLIPのパラフレーズクエリに対する感度を定量化するための新しい尺度である、パラフレーズランキング安定度尺度(PRSM)を紹介する。 社会的・人口的バイアスを明らかにするために設計されたベンチマークであるSocial Counterfactualsデータセットを用いて、パラフレーズ変動下でのCLIPの安定性を実証的に評価し、パラフレーズの頑健性と性別間の相互作用を調べ、公正性やマルチモーダルシステムの均等な展開について考察する。 分析の結果,雄関連クエリと雌関連クエリの微妙で一貫した相違がみられた。

関連論文リスト

• Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective [24.54292750583169]
  大規模言語モデル(LLM)は、しばしば固有のバイアスを伴う応答を生成し、現実のアプリケーションにおける信頼性を損なう。 LLMにおけるグループレベルの公平性を評価するための新しい統計フレームワークであるFiSCo(Fine-fine Semantic Comparison)を提案する。 モデル出力を意味的に異なるクレームに分解し、グループ間およびグループ間の類似性を比較するために統計的仮説テストを適用する。
  論文  参考訳（メタデータ） (2025-06-23T18:31:22Z)
• Large Language Models Often Say One Thing and Do Another [49.22262396351797]
  我々はWords and Deeds Consistency Test (WDCT)と呼ばれる新しい評価ベンチマークを開発した。 このベンチマークは、異なるドメインにわたる単語ベースの質問とdeedベースの質問の厳密な対応を確立する。 評価結果から,異なるLLMとドメイン間で単語と行為の矛盾が広範囲にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-10T07:34:54Z)
• Estimating Commonsense Plausibility through Semantic Shifts [66.06254418551737]
  セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。 2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-19T06:31:06Z)
• Exploring Robustness of LLMs to Paraphrasing Based on Sociodemographic Factors [7.312170216336085]
  我々は、SocialIQAデータセットを拡張して、社会デマログラフィー要因に基づく多様なパラフレーズセットを作成する。 人口統計に基づく言い回しが言語モデルの性能に大きな影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2025-01-14T17:50:06Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。