論文の概要: PRSM: A Measure to Evaluate CLIP's Robustness Against Paraphrases
- arxiv url: http://arxiv.org/abs/2511.11141v1
- Date: Fri, 14 Nov 2025 10:19:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-17 22:42:18.536391
- Title: PRSM: A Measure to Evaluate CLIP's Robustness Against Paraphrases
- Title（参考訳）: PRSM:CLIPのパラフレーズに対するロバスト性を評価する尺度
- Authors: Udo Schlegel, Franziska Weeber, Jian Lan, Thomas Seidl,
- Abstract要約: Contrastive Language-Image Pre-Training (CLIP) は、大規模トレーニングを通じてテキストと画像表現を整列する多モーダルモデルである。
ゼロショットや少数ショットのタスクで強く機能するが、言語の変化、特にパラフレーズに対する頑健さはいまだに未発見のままである。
本稿では、CLIPのパラフレーズクエリに対する感度を定量化するための新しい尺度である、パラフレーズランキング安定度尺度(PRSM)を紹介する。
- 参考スコア（独自算出の注目度）: 9.398106516502477
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive Language-Image Pre-training (CLIP) is a widely used multimodal model that aligns text and image representations through large-scale training. While it performs strongly on zero-shot and few-shot tasks, its robustness to linguistic variation, particularly paraphrasing, remains underexplored. Paraphrase robustness is essential for reliable deployment, especially in socially sensitive contexts where inconsistent representations can amplify demographic biases. In this paper, we introduce the Paraphrase Ranking Stability Metric (PRSM), a novel measure for quantifying CLIP's sensitivity to paraphrased queries. Using the Social Counterfactuals dataset, a benchmark designed to reveal social and demographic biases, we empirically assess CLIP's stability under paraphrastic variation, examine the interaction between paraphrase robustness and gender, and discuss implications for fairness and equitable deployment of multimodal systems. Our analysis reveals that robustness varies across paraphrasing strategies, with subtle yet consistent differences observed between male- and female-associated queries.
- Abstract（参考訳）: Contrastive Language-Image Pre-Training (CLIP) は、大規模トレーニングを通じてテキストと画像表現を整列する多モーダルモデルである。
ゼロショットや少数ショットのタスクで強く機能するが、言語的変化、特にパラフレーズに対する頑健さはいまだに未発見のままである。
パラフレーズの堅牢性は、特に不整合表現が人口統計バイアスを増幅する社会的に敏感な文脈において、信頼性の高い展開に不可欠である。
本稿では、CLIPのパラフレーズクエリに対する感度を定量化するための新しい尺度である、パラフレーズランキング安定度尺度(PRSM)を紹介する。
社会的・人口的バイアスを明らかにするために設計されたベンチマークであるSocial Counterfactualsデータセットを用いて、パラフレーズ変動下でのCLIPの安定性を実証的に評価し、パラフレーズの頑健性と性別間の相互作用を調べ、公正性やマルチモーダルシステムの均等な展開について考察する。
分析の結果,雄関連クエリと雌関連クエリの微妙で一貫した相違がみられた。
関連論文リスト
- Revisiting Reliability in the Reasoning-based Pose Estimation Benchmark [27.134554623769898]
推論に基づくポーズ推定(RPE)ベンチマークは、ポーズ対応大規模言語モデル(MLLM)の広く採用されている評価標準として登場した。
公平で一貫した定量的評価を妨げる批判的かつベンチマーク品質の問題を特定しました。
論文 参考訳（メタデータ） (2025-07-17T17:33:11Z) - Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective [24.54292750583169]
大規模言語モデル(LLM)は、しばしば固有のバイアスを伴う応答を生成し、現実のアプリケーションにおける信頼性を損なう。
LLMにおけるグループレベルの公平性を評価するための新しい統計フレームワークであるFiSCo(Fine-fine Semantic Comparison)を提案する。
モデル出力を意味的に異なるクレームに分解し、グループ間およびグループ間の類似性を比較するために統計的仮説テストを適用する。
論文 参考訳（メタデータ） (2025-06-23T18:31:22Z) - Large Language Models Often Say One Thing and Do Another [49.22262396351797]
我々はWords and Deeds Consistency Test (WDCT)と呼ばれる新しい評価ベンチマークを開発した。
このベンチマークは、異なるドメインにわたる単語ベースの質問とdeedベースの質問の厳密な対応を確立する。
評価結果から,異なるLLMとドメイン間で単語と行為の矛盾が広範囲にあることが明らかとなった。
論文 参考訳（メタデータ） (2025-03-10T07:34:54Z) - Estimating Commonsense Plausibility through Semantic Shifts [66.06254418551737]
セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。
2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2025-02-19T06:31:06Z) - Exploring Robustness of LLMs to Paraphrasing Based on Sociodemographic Factors [7.312170216336085]
我々は、SocialIQAデータセットを拡張して、社会デマログラフィー要因に基づく多様なパラフレーズセットを作成する。
人口統計に基づく言い回しが言語モデルの性能に大きな影響を及ぼすことがわかった。
論文 参考訳（メタデータ） (2025-01-14T17:50:06Z) - RAcQUEt: Unveiling the Dangers of Overlooked Referential Ambiguity in Visual LLMs [42.38066214464341]
本稿では,画像に基づく質問応答におけるあいまいさの異なる側面を対象とするデータセットであるRACQUETを紹介する。
我々は、その応答のあいまいさに対処する上で、最先端の大規模マルチモーダル言語モデルの過信に関する重大な制限と問題を明らかにする。
本結果は, 望ましくないステレオタイプに頼らずに不確実性に対処する頑健な戦略を持つモデルの導入の緊急性を強調した。
論文 参考訳（メタデータ） (2024-12-18T13:25:11Z) - Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。
Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
論文 参考訳（メタデータ） (2024-09-05T09:10:38Z) - Cross-modality debiasing: using language to mitigate sub-population shifts in imaging [28.88097536026781]
サブポピュレーションシフトは、アルゴリズムバイアスの重要な源であり、分散ロバスト性を要求する。
近年の研究では、視覚言語モデルCLIPのような多モード基礎モデルに固有の分布ロバスト性が確認されている。
本稿では,画像特徴表現の劣化を抑えるために自然言語入力を活用することを提案する。
論文 参考訳（メタデータ） (2024-02-02T18:54:48Z) - Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳（メタデータ） (2023-10-24T06:15:15Z) - In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。
実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。
また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文 参考訳（メタデータ） (2022-12-20T14:06:50Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） (2021-11-04T12:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。