論文の概要: Bridging the Digital Divide: Performance Variation across Socio-Economic
Factors in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2311.05746v1
- Date: Thu, 9 Nov 2023 21:10:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 16:34:32.757122
- Title: Bridging the Digital Divide: Performance Variation across Socio-Economic
Factors in Vision-Language Models
- Title(参考訳): デジタルディバイドの橋渡し:ビジョン言語モデルにおける社会経済要因間のパフォーマンス変動
- Authors: Joan Nwatu, Oana Ignat, Rada Mihalcea
- Abstract要約: 異なる収入値に関連付けられた世帯画像を含むジオディバースデータセット上での視覚言語モデル(CLIP)の性能を評価する。
以上の結果から,貧しいグループに対するパフォーマンスは,様々なトピックや国における富裕層よりも一貫して低いことが示唆された。
- 参考スコア(独自算出の注目度): 31.868468221653025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the impressive performance of current AI models reported across
various tasks, performance reports often do not include evaluations of how
these models perform on the specific groups that will be impacted by these
technologies. Among the minority groups under-represented in AI, data from
low-income households are often overlooked in data collection and model
evaluation. We evaluate the performance of a state-of-the-art vision-language
model (CLIP) on a geo-diverse dataset containing household images associated
with different income values (Dollar Street) and show that performance
inequality exists among households of different income levels. Our results
indicate that performance for the poorer groups is consistently lower than the
wealthier groups across various topics and countries. We highlight insights
that can help mitigate these issues and propose actionable steps for
economic-level inclusive AI development. Code is available at
https://github.com/MichiganNLP/Bridging_the_Digital_Divide.
- Abstract(参考訳): さまざまなタスクで報告された現在のaiモデルの印象的なパフォーマンスにもかかわらず、パフォーマンスレポートには、これらの技術によって影響を受ける特定のグループでこれらのモデルがどのように振る舞うかの評価が含まれないことが多い。
aiに過小評価されている少数グループの中で、低所得世帯のデータはデータ収集やモデル評価では見過ごされがちである。
異なる収入値(ダラー街路)に関連付けられた世帯画像を含む地理多様性データセット上での最先端視覚言語モデル(clip)の性能評価を行い、異なる所得水準の世帯間にパフォーマンス不平等が存在することを示す。
その結果,貧しいグループのパフォーマンスは,様々な話題や国にまたがる富裕層よりも一貫して低いことがわかった。
これらの問題を緩和する上で有効な洞察を強調し、経済レベルの包括的AI開発のための実行可能なステップを提案します。
コードはhttps://github.com/michigannlp/bridging_the_digital_divideで入手できる。
関連論文リスト
- Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。
以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
論文 参考訳(メタデータ) (2024-04-02T22:27:24Z) - Pinpointing Why Object Recognition Performance Degrades Across Income
Levels and Geographies [8.408398153073096]
深層学習システムのパフォーマンスは、地理的に大きく低下し、低所得層となっている。
私たちは、地理的および経済的に多様な画像の一般的なベンチマークであるDollar Streetの画像に注釈を付けることで、この方向に一歩踏み出した。
これらのアノテーションは、収入や地域によってオブジェクトがどのように異なるかという、新たな粒度のビューを解き放つ。
次に、これらのオブジェクトの違いを使用して、収入と地域をまたいだモデルの脆弱性を特定します。
論文 参考訳(メタデータ) (2023-04-11T17:59:52Z) - Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。
異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。
このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文 参考訳(メタデータ) (2023-03-30T17:30:42Z) - Towards Reliable Assessments of Demographic Disparities in Multi-Label
Image Classifiers [11.973749734226852]
マルチラベル画像分類と,特に対象分類タスクについて検討する。
測定のための設計選択とトレードオフは、以前のコンピュータビジョン文学で議論されたよりもニュアンスが高い。
実装の詳細にだけ似ているが、評価の結論に大きな影響を及ぼすいくつかの設計選択を特定します。
論文 参考訳(メタデータ) (2023-02-16T20:34:54Z) - On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。
我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文 参考訳(メタデータ) (2022-11-15T19:56:37Z) - Estimating Structural Disparities for Face Models [54.062512989859265]
機械学習では、異なるサブ人口間でのモデルの性能や結果の差を測定することで、しばしば異質度の測定が定義される。
本研究では、人間の顔に訓練されたコンピュータビジョンモデルや、顔属性予測や影響推定などのタスクについて、そのような分析を行う。
論文 参考訳(メタデータ) (2022-04-13T05:30:53Z) - Leveling Down in Computer Vision: Pareto Inefficiencies in Fair Deep
Classifiers [38.33762469290228]
コンピュータビジョンに既存の公平性アプローチを適用することにより、すべてのグループで分類器の性能を劣化させることで、公平性を向上させることが判明した。
本稿では,不備なグループのパフォーマンスを一意的に向上させる適応的拡張戦略を提案する。
論文 参考訳(メタデータ) (2022-03-09T17:48:33Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - CHEER: Rich Model Helps Poor Model via Knowledge Infusion [69.23072792708263]
我々は、そのようなリッチなモデルを伝達可能な表現に簡潔に要約できる知識注入フレームワークCHEERを開発した。
実験の結果、CHEERは複数の生理的データセットのマクロF1スコアにおいて、ベースラインを5.60%から46.80%上回った。
論文 参考訳(メタデータ) (2020-05-21T21:44:21Z) - Inclusive GAN: Improving Data and Minority Coverage in Generative Models [101.67587566218928]
データカバレッジの1つとしてマイノリティー・インクルージョンの問題を定式化する。
次に、再構成世代と敵対的トレーニングを調和させることにより、データカバレッジを改善することを提案する。
我々は、モデルが確実に含めるべきマイノリティサブグループを明示的に制御できる拡張を開発する。
論文 参考訳(メタデータ) (2020-04-07T13:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。