論文の概要: ImageCaptioner$^2$: Image Captioner for Image Captioning Bias Amplification Assessment

• arxiv url: http://arxiv.org/abs/2304.04874v2
• Date: Mon, 5 Jun 2023 22:06:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 20:16:47.475510
• Title: ImageCaptioner$^2$: Image Captioner for Image Captioning Bias Amplification Assessment
• Title（参考訳）: imagecaptioner$^2$:画像キャプションバイアス増幅評価のための画像キャプション
• Authors: Eslam Mohamed Bakr, Pengzhan Sun, Li Erran Li, Mohamed Elhoseiny
• Abstract要約: 画像キャプションに$ImageCaptioner2$と呼ばれる新しいバイアス評価指標を導入する。 モデルやデータの絶対バイアスを測定する代わりに、$ImageCaptioner2$はモデルによって導入されたバイアスにもっと注意を払う。 さらに、生成したキャプションのバイアスをプロンプトベースの画像キャプションとして測定するための定式化を設計する。
• 参考スコア（独自算出の注目度）: 30.71835197717301
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Most pre-trained learning systems are known to suffer from bias, which typically emerges from the data, the model, or both. Measuring and quantifying bias and its sources is a challenging task and has been extensively studied in image captioning. Despite the significant effort in this direction, we observed that existing metrics lack consistency in the inclusion of the visual signal. In this paper, we introduce a new bias assessment metric, dubbed $ImageCaptioner^2$, for image captioning. Instead of measuring the absolute bias in the model or the data, $ImageCaptioner^2$ pay more attention to the bias introduced by the model w.r.t the data bias, termed bias amplification. Unlike the existing methods, which only evaluate the image captioning algorithms based on the generated captions only, $ImageCaptioner^2$ incorporates the image while measuring the bias. In addition, we design a formulation for measuring the bias of generated captions as prompt-based image captioning instead of using language classifiers. Finally, we apply our $ImageCaptioner^2$ metric across 11 different image captioning architectures on three different datasets, i.e., MS-COCO caption dataset, Artemis V1, and Artemis V2, and on three different protected attributes, i.e., gender, race, and emotions. Consequently, we verify the effectiveness of our $ImageCaptioner^2$ metric by proposing AnonymousBench, which is a novel human evaluation paradigm for bias metrics. Our metric shows significant superiority over the recent bias metric; LIC, in terms of human alignment, where the correlation scores are 80% and 54% for our metric and LIC, respectively. The code is available at https://eslambakr.github.io/imagecaptioner2.github.io/.
• Abstract（参考訳）: ほとんどの事前学習された学習システムは、典型的にはデータやモデル、あるいはその両方から生じるバイアスに苦しむことが知られている。 バイアスとそのソースの測定と定量化は難しい課題であり、画像キャプションで広く研究されている。 この方向の大きな努力にもかかわらず、既存のメトリクスは視覚信号を含める際に一貫性が欠如していることが観察された。 本稿では,画像キャプションのための新しいバイアス評価指標である$ImageCaptioner^2$を紹介する。 モデルやデータの絶対バイアスを測定する代わりに、$imagecaptioner^2$はモデルw.r.tによって導入されたバイアスにもっと注意を払う。 生成されたキャプションのみに基づいて画像キャプションアルゴリズムを評価する既存の方法とは異なり、$ImageCaptioner^2$はバイアスを測定しながらイメージを組み込む。 さらに,生成したキャプションのバイアスを,言語分類器の代わりにプロンプトベースの画像キャプションとして測定するための定式化を設計する。 最後に、$imagecaptioner^2$メトリックを、11の異なる画像キャプションアーキテクチャ、すなわち、ms-cocoキャプションデータセット、artemis v1、artemis v2の3つの異なるデータセット、すなわち性別、人種、感情の3つの異なる保護属性に適用します。 そこで我々は,バイアスメトリクスのための新しい人間評価パラダイムであるanonymousbenchを提案することで,$imagecaptioner^2$メトリックの有効性を検証する。 私たちの測定基準は、最近のバイアスメトリックよりも大きな優位性を示しており、人間のアライメントの観点からは、それぞれ相関スコアが80%、licが54%である。 コードはhttps://eslambakr.github.io/imagecaptioner2.github.io/で入手できる。

関連論文リスト

• Guiding Image Captioning Models Toward More Specific Captions [32.36062034676917]
  トレーニングプロセスに最小限の変更を加えることで,より具体的なキャプションを生成することが可能であることを示す。 本研究では, 自動回帰キャプションモデルに対して, キャプション上の条件分布と非条件分布の両方を微調整することで, 分類器レスガイダンスを実装した。
  論文  参考訳（メタデータ） (2023-07-31T14:00:12Z)
• Balancing the Picture: Debiasing Vision-Language Datasets with Synthetic Contrast Sets [52.77024349608834]
  視覚言語モデルは、インターネットから未計算の画像テキストペアの事前トレーニング中に学んだ社会的バイアスを永続し、増幅することができる。 COCO Captionsは、背景コンテキストとその場にいる人々の性別間のバイアスを評価するために最も一般的に使用されるデータセットである。 本研究では,COCOデータセットを男女バランスの取れたコントラストセットで拡張する新しいデータセットデバイアスパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:18Z)
• Mitigating Test-Time Bias for Fair Image Retrieval [18.349154934096784]
  我々は、中立なテキストクエリにより、公平で偏りのない画像検索結果を生成するという課題に対処する。 本稿では,事前学習した視覚言語モデルから出力を後処理する簡単な手法であるポストホックバイアス緩和手法を提案する。 提案手法は,テキストによる画像検索結果において,既存の様々なバイアス軽減手法と比較して,最も低いバイアスを実現する。
  論文  参考訳（メタデータ） (2023-05-23T21:31:16Z)
• InfoMetIC: An Informative Metric for Reference-free Image Caption Evaluation [69.1642316502563]
  インフォメーションフリー画像キャプション評価のためのインフォーマティブメトリックを提案する。 画像とキャプションが与えられた場合、InfoMetICは不正確な単語や未完成の画像領域をきめ細かいレベルで報告することができる。 また,トークンレベルの評価データセットを構築し,詳細な評価におけるInfoMetICの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-10T09:22:44Z)
• Are metrics measuring what they should? An evaluation of image captioning task metrics [0.21301560294088315]
  画像キャプション(Image Captioning)は、シーン内のオブジェクトとそれらの関係を使って画像の内容を記述するための、現在の研究課題である。 この課題に対処するためには、人工視覚と自然言語処理という2つの重要な研究領域が使用される。 筆者らは,MS COCOデータセットを用いて,複数種類の画像キャプション指標の評価と,それらの比較を行った。
  論文  参考訳（メタデータ） (2022-07-04T21:51:47Z)
• On Distinctive Image Captioning via Comparing and Reweighting [52.3731631461383]
  本稿では,類似画像の集合との比較と再重み付けにより,画像キャプションの特異性を向上させることを目的とする。 MSCOCOデータセットの各画像の人間のアノテーションは、特徴性に基づいて等価ではないことが明らかとなった。 対照的に、以前の研究は通常、トレーニング中に人間のアノテーションを平等に扱う。
  論文  参考訳（メタデータ） (2022-04-08T08:59:23Z)
• Transparent Human Evaluation for Image Captioning [70.03979566548823]
  画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。 人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。 この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
  論文  参考訳（メタデータ） (2021-11-17T07:09:59Z)
• Can Audio Captions Be Evaluated with Image Caption Metrics? [11.45508807551818]
  本稿では, 類似性を捉える上で, センテンス-BERTの強みと, 誤り検出器を組み合わさって, 誤文を強靭性のためにペナルティ化する手法を提案する。 新たに確立されたベンチマークでは、FENSEが現在のメトリクスを14～25%の精度で上回っている。
  論文  参考訳（メタデータ） (2021-10-10T02:34:40Z)
• Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder [52.42057181754076]
  自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。 文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。 実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-29T12:27:05Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。