論文の概要: Measuring Representational Harms in Image Captioning

• arxiv url: http://arxiv.org/abs/2206.07173v1
• Date: Tue, 14 Jun 2022 21:08:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 13:18:04.202679
• Title: Measuring Representational Harms in Image Captioning
• Title（参考訳）: 画像キャプションにおける表現障害の測定
• Authors: Angelina Wang and Solon Barocas and Kristen Laird and Hanna Wallach
• Abstract要約: 本稿では,5種類の表現的害を測定するための一連の手法と,その結果を述べる。 我々の目標は、この画像キャプションシステムを評価することではなく、基準的基礎計測技術を開発することであった。 測定手法の根底にある仮定を議論し、それが持たないことを指摘する。
• 参考スコア（独自算出の注目度）: 5.543867614999908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous work has largely considered the fairness of image captioning systems through the underspecified lens of "bias." In contrast, we present a set of techniques for measuring five types of representational harms, as well as the resulting measurements obtained for two of the most popular image captioning datasets using a state-of-the-art image captioning system. Our goal was not to audit this image captioning system, but rather to develop normatively grounded measurement techniques, in turn providing an opportunity to reflect on the many challenges involved. We propose multiple measurement techniques for each type of harm. We argue that by doing so, we are better able to capture the multi-faceted nature of each type of harm, in turn improving the (collective) validity of the resulting measurements. Throughout, we discuss the assumptions underlying our measurement approach and point out when they do not hold.
• Abstract（参考訳）: 以前の研究は、画像キャプションシステムの公平さを「バイアス」の未特定レンズを通して考慮していた。 対照的に,5種類の表現障害を測定するための手法と,最新の画像キャプションシステムを用いて最も人気のある2つの画像キャプションデータセットに対して得られた結果について述べる。 私たちのゴールは、この画像キャプションシステムの監査ではなく、基準的基盤測定技術を開発し、それに伴う多くの課題を反映する機会を提供することでした。 各種の害に対する複数の計測手法を提案する。 そうすることで、各種類の害の多面的な性質を捉えることができ、結果として得られる測定の(集合的な)妥当性が向上する、と主張する。 全体として、我々の測定アプローチの根底にある仮定を議論し、それらが保持されていないことを指摘する。

関連論文リスト

• Surveying the Landscape of Image Captioning Evaluation: A Comprehensive Taxonomy and Novel Ensemble Method [35.71703501731081]
  本稿では,70以上の画像キャプション指標の初回調査と分類について紹介する。 提案されたメトリクスの多様性にもかかわらず、ほとんどの研究は5つの人気のあるメトリクスに頼っている。 本研究では,人間の判断と最も高い相関性を示す評価手法のアンサンブルであるEnsembEvalを提案する。
  論文  参考訳（メタデータ） (2024-08-09T07:31:06Z)
• Information Theoretic Text-to-Image Alignment [49.396917351264655]
  本稿では,ステア画像生成のための情報理論アライメント尺度を用いた新しい手法を提案する。 提案手法は最先端の手法よりも優れているが,MIを推定するためには事前学習されたデノナイジングネットワークを必要としない。
  論文  参考訳（メタデータ） (2024-05-31T12:20:02Z)
• Introspective Deep Metric Learning [91.47907685364036]
  本稿では,不確実性を考慮した画像比較のためのイントロスペクティブな深度学習フレームワークを提案する。 提案するIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能を向上させる。
  論文  参考訳（メタデータ） (2023-09-11T16:21:13Z)
• Taxonomizing and Measuring Representational Harms: A Look at Image Tagging [12.576454410948292]
  画像タグ付けシステムによって引き起こされる4種類の表現障害を同定する。 この種の害を緩和しようとする試みは、互いに緊張関係にある可能性がある。
  論文  参考訳（メタデータ） (2023-05-02T20:36:30Z)
• Are metrics measuring what they should? An evaluation of image captioning task metrics [0.21301560294088315]
  画像キャプション(Image Captioning)は、シーン内のオブジェクトとそれらの関係を使って画像の内容を記述するための、現在の研究課題である。 この課題に対処するためには、人工視覚と自然言語処理という2つの重要な研究領域が使用される。 筆者らは,MS COCOデータセットを用いて,複数種類の画像キャプション指標の評価と,それらの比較を行った。
  論文  参考訳（メタデータ） (2022-07-04T21:51:47Z)
• Introspective Deep Metric Learning for Image Retrieval [80.29866561553483]
  良好な類似性モデルは、より堅牢なトレーニングのために曖昧なイメージをよりよく扱うように注意しながら、意味的な相違を考慮すべきである、と我々は主張する。 本稿では,画像の意味的特徴とあいまいさを記述した,意味的埋め込みだけでなく,付随する不確実性埋め込みを用いて画像を表現することを提案する。 提案したIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能向上を実現し,広く使用されているCUB-200-2011,Cars196,Stanford Online Productsデータセットの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-05-09T17:51:44Z)
• A Prompt Array Keeps the Bias Away: Debiasing Vision-Language Models with Adversarial Learning [55.96577490779591]
  視覚言語モデルは社会的バイアスやステレオタイプを符号化することができる。 これらのマルチモーダル害の測定と緩和には課題がある。 バイアス尺度を調査し,画像テキスト表現にランキング指標を適用した。
  論文  参考訳（メタデータ） (2022-03-22T17:59:04Z)
• Few-Shot Learning with Part Discovery and Augmentation from Unlabeled Images [79.34600869202373]
  帰納的バイアスは、ラベルなし画像の平坦な集合から学習でき、目に見えるクラスと目に見えないクラスの間で伝達可能な表現としてインスタンス化されることを示す。 具体的には、トランスファー可能な表現を学習するための、新しいパートベース自己教師型表現学習手法を提案する。 我々の手法は印象的な結果をもたらし、それまでの最高の教師なし手法を7.74%、9.24%上回った。
  論文  参考訳（メタデータ） (2021-05-25T12:22:11Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。