論文の概要: Bridging the Digital Divide: Performance Variation across Socio-Economic Factors in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2311.05746v1
• Date: Thu, 9 Nov 2023 21:10:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 16:34:32.757122
• Title: Bridging the Digital Divide: Performance Variation across Socio-Economic Factors in Vision-Language Models
• Title（参考訳）: デジタルディバイドの橋渡し:ビジョン言語モデルにおける社会経済要因間のパフォーマンス変動
• Authors: Joan Nwatu, Oana Ignat, Rada Mihalcea
• Abstract要約: 異なる収入値に関連付けられた世帯画像を含むジオディバースデータセット上での視覚言語モデル(CLIP)の性能を評価する。 以上の結果から,貧しいグループに対するパフォーマンスは,様々なトピックや国における富裕層よりも一貫して低いことが示唆された。
• 参考スコア（独自算出の注目度）: 31.868468221653025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the impressive performance of current AI models reported across various tasks, performance reports often do not include evaluations of how these models perform on the specific groups that will be impacted by these technologies. Among the minority groups under-represented in AI, data from low-income households are often overlooked in data collection and model evaluation. We evaluate the performance of a state-of-the-art vision-language model (CLIP) on a geo-diverse dataset containing household images associated with different income values (Dollar Street) and show that performance inequality exists among households of different income levels. Our results indicate that performance for the poorer groups is consistently lower than the wealthier groups across various topics and countries. We highlight insights that can help mitigate these issues and propose actionable steps for economic-level inclusive AI development. Code is available at https://github.com/MichiganNLP/Bridging_the_Digital_Divide.
• Abstract（参考訳）: さまざまなタスクで報告された現在のaiモデルの印象的なパフォーマンスにもかかわらず、パフォーマンスレポートには、これらの技術によって影響を受ける特定のグループでこれらのモデルがどのように振る舞うかの評価が含まれないことが多い。 aiに過小評価されている少数グループの中で、低所得世帯のデータはデータ収集やモデル評価では見過ごされがちである。 異なる収入値(ダラー街路)に関連付けられた世帯画像を含む地理多様性データセット上での最先端視覚言語モデル(clip)の性能評価を行い、異なる所得水準の世帯間にパフォーマンス不平等が存在することを示す。 その結果,貧しいグループのパフォーマンスは,様々な話題や国にまたがる富裕層よりも一貫して低いことがわかった。 これらの問題を緩和する上で有効な洞察を強調し、経済レベルの包括的AI開発のための実行可能なステップを提案します。 コードはhttps://github.com/michigannlp/bridging_the_digital_divideで入手できる。

関連論文リスト

• AI-EDI-SPACE: A Co-designed Dataset for Evaluating the Quality of Public Spaces [2.691611484444756]
  クラウドソーシングはしばしば低賃金労働者を雇い、労働条件が悪く、アノテータの代表性を考慮していない。 本稿では,利害関係者が重要な段階において積極的に関与する共同設計モデルを含む方法論を提案し,多様性,多様性,包摂性(EDI)の原則を統合することにより,多様な視点を確実にする。 この手法をストリートビュー画像を用いた公共空間の品質評価のためのデータセットとAIモデルの開発に適用する。
  論文  参考訳（メタデータ） (2024-11-01T18:11:29Z)
• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• Uplifting Lower-Income Data: Strategies for Socioeconomic Perspective Shifts in Large Multi-modal Models [28.3552578648979]
  非英語・地理的・社会経済的属性を用いたいくつかのプロンプト戦略を提案し,評価する。 これらの地理的・社会経済的統合的なプロンプトは、各国の低所得世帯のデータからよく見られる話題の出現を回収することを好んでいる。
  論文  参考訳（メタデータ） (2024-07-02T19:27:00Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Pinpointing Why Object Recognition Performance Degrades Across Income Levels and Geographies [8.408398153073096]
  深層学習システムのパフォーマンスは、地理的に大きく低下し、低所得層となっている。 私たちは、地理的および経済的に多様な画像の一般的なベンチマークであるDollar Streetの画像に注釈を付けることで、この方向に一歩踏み出した。 これらのアノテーションは、収入や地域によってオブジェクトがどのように異なるかという、新たな粒度のビューを解き放つ。 次に、これらのオブジェクトの違いを使用して、収入と地域をまたいだモデルの脆弱性を特定します。
  論文  参考訳（メタデータ） (2023-04-11T17:59:52Z)
• Towards Reliable Assessments of Demographic Disparities in Multi-Label Image Classifiers [11.973749734226852]
  マルチラベル画像分類と,特に対象分類タスクについて検討する。 測定のための設計選択とトレードオフは、以前のコンピュータビジョン文学で議論されたよりもニュアンスが高い。 実装の詳細にだけ似ているが、評価の結論に大きな影響を及ぼすいくつかの設計選択を特定します。
  論文  参考訳（メタデータ） (2023-02-16T20:34:54Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• Estimating Structural Disparities for Face Models [54.062512989859265]
  機械学習では、異なるサブ人口間でのモデルの性能や結果の差を測定することで、しばしば異質度の測定が定義される。 本研究では、人間の顔に訓練されたコンピュータビジョンモデルや、顔属性予測や影響推定などのタスクについて、そのような分析を行う。
  論文  参考訳（メタデータ） (2022-04-13T05:30:53Z)
• CHEER: Rich Model Helps Poor Model via Knowledge Infusion [69.23072792708263]
  我々は、そのようなリッチなモデルを伝達可能な表現に簡潔に要約できる知識注入フレームワークCHEERを開発した。 実験の結果、CHEERは複数の生理的データセットのマクロF1スコアにおいて、ベースラインを5.60%から46.80%上回った。
  論文  参考訳（メタデータ） (2020-05-21T21:44:21Z)
• Inclusive GAN: Improving Data and Minority Coverage in Generative Models [101.67587566218928]
  データカバレッジの1つとしてマイノリティー・インクルージョンの問題を定式化する。 次に、再構成世代と敵対的トレーニングを調和させることにより、データカバレッジを改善することを提案する。 我々は、モデルが確実に含めるべきマイノリティサブグループを明示的に制御できる拡張を開発する。
  論文  参考訳（メタデータ） (2020-04-07T13:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。