論文の概要: Language Agents for Detecting Implicit Stereotypes in Text-to-image Models at Scale

• arxiv url: http://arxiv.org/abs/2310.11778v3
• Date: Thu, 2 Nov 2023 10:46:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 10:14:16.019708
• Title: Language Agents for Detecting Implicit Stereotypes in Text-to-image Models at Scale
• Title（参考訳）: 大規模テキスト・画像モデルにおける不適切なステレオタイプ検出のための言語エージェント
• Authors: Qichao Wang, Tian Bian, Yian Yin, Tingyang Xu, Hong Cheng, Helen M. Meng, Zibin Zheng, Liang Chen, Bingzhe Wu
• Abstract要約: テキスト・ツー・イメージモデルにおけるステレオタイプ検出に適した新しいエージェントアーキテクチャを提案する。 複数のオープンテキストデータセットに基づいたステレオタイプ関連ベンチマークを構築した。 これらのモデルは、個人的特性に関する特定のプロンプトに関して、深刻なステレオタイプを示すことが多い。
• 参考スコア（独自算出の注目度）: 45.64096601242646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent surge in the research of diffusion models has accelerated the adoption of text-to-image models in various Artificial Intelligence Generated Content (AIGC) commercial products. While these exceptional AIGC products are gaining increasing recognition and sparking enthusiasm among consumers, the questions regarding whether, when, and how these models might unintentionally reinforce existing societal stereotypes remain largely unaddressed. Motivated by recent advancements in language agents, here we introduce a novel agent architecture tailored for stereotype detection in text-to-image models. This versatile agent architecture is capable of accommodating free-form detection tasks and can autonomously invoke various tools to facilitate the entire process, from generating corresponding instructions and images, to detecting stereotypes. We build the stereotype-relevant benchmark based on multiple open-text datasets, and apply this architecture to commercial products and popular open source text-to-image models. We find that these models often display serious stereotypes when it comes to certain prompts about personal characteristics, social cultural context and crime-related aspects. In summary, these empirical findings underscore the pervasive existence of stereotypes across social dimensions, including gender, race, and religion, which not only validate the effectiveness of our proposed approach, but also emphasize the critical necessity of addressing potential ethical risks in the burgeoning realm of AIGC. As AIGC continues its rapid expansion trajectory, with new models and plugins emerging daily in staggering numbers, the challenge lies in the timely detection and mitigation of potential biases within these models.
• Abstract（参考訳）: 最近の拡散モデルの研究の急増は、様々な人工知能生成コンテンツ(aigc)製品におけるテキストから画像へのモデルの採用を加速させた。 これらの例外的なaigc製品は、消費者の認知と熱意の高まりを招いているが、これらのモデルが既存の社会ステレオタイプを意図せず強化するかどうか、いつ、そしてどのように疑問を抱いている。 近年の言語エージェントの進歩に触発され,テキストから画像へのステレオタイプ検出に適した新しいエージェントアーキテクチャを導入する。 この多用途エージェントアーキテクチャは、フリーフォーム検出タスクを収容することができ、対応する命令や画像の生成からステレオタイプの検出まで、プロセス全体を容易にするための様々なツールを自律的に呼び出すことができる。 我々は,複数のオープンテキストデータセットに基づくステレオタイプ対応ベンチマークを構築し,このアーキテクチャを商用製品や一般的なオープンソースのテキスト・ツー・イメージモデルに適用する。 これらのモデルは、個人的特徴、社会的文化的文脈、犯罪関連側面に関する特定のプロンプトに関して、深刻なステレオタイプを示すことが多い。 要約すると、これらの経験的発見は、ジェンダー、人種、宗教を含む社会次元にまたがるステレオタイプの存在を浮き彫りにして、提案手法の有効性を検証するだけでなく、AIGCの急成長する領域における潜在的な倫理的リスクに対処する上で重要な必要性を強調している。 aigcは急速に拡大を続け、新しいモデルとプラグインが日々驚くべき数で出現するにつれ、これらのモデル内の潜在的なバイアスをタイムリーに検出し緩和することが課題となっている。

関連論文リスト

• Detection of Machine-Generated Text: Literature Survey [0.0]
  本研究の目的は,機械生成テキスト分野における成果と成果をコンパイルし,合成することである。 また、機械が生成するテキストの傾向を概観し、より大きな社会的意味を探求する。
  論文  参考訳（メタデータ） (2024-01-02T01:44:15Z)
• Towards Auditing Large Language Models: Improving Text-based Stereotype Detection [5.3634450268516565]
  i) ジェンダー、人種、職業、宗教のステレオタイプテキストの52,751件を含むマルチグラインステレオタイプデータセットを紹介する。 そこで本研究では,新しいデータセットでトレーニングしたモデルについて,厳密に検証する実験を行った。 実験によると、マルチクラスの設定でモデルをトレーニングすることは、すべてのバイナリの1つよりも優れている。
  論文  参考訳（メタデータ） (2023-11-23T17:47:14Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
  テキストから画像への生成人工知能の普及は、大衆の関心を集めている。 ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。 テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。 我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
  論文  参考訳（メタデータ） (2023-07-31T08:34:24Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Should ChatGPT be Biased? Challenges and Risks of Bias in Large Language Models [11.323961700172175]
  本稿では,ChatGPTのような大規模言語モデルにおけるバイアスに関連する課題とリスクについて考察する。 我々は、トレーニングデータの性質、モデル仕様、アルゴリズム制約、製品設計、ポリシー決定など、バイアスの起源について論じる。 私たちは、言語モデルにおけるバイアスを特定し、定量化し、緩和するための現在のアプローチをレビューし、より公平で透明で責任あるAIシステムを開発するための、多分野の協力的な取り組みの必要性を強調します。
  論文  参考訳（メタデータ） (2023-04-07T17:14:00Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)
• Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale [61.555788332182395]
  危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。 さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
  論文  参考訳（メタデータ） (2022-11-07T18:31:07Z)
• Membership Inference Attacks Against Text-to-image Generation Models [23.39695974954703]
  本稿では,メンバシップ推論のレンズを用いたテキスト・画像生成モデルの最初のプライバシ解析を行う。 本稿では,メンバーシップ情報に関する3つの重要な直観と,それに応じて4つの攻撃手法を設計する。 提案した攻撃はいずれも大きな性能を達成でき、場合によっては精度が1に近い場合もあり、既存のメンバーシップ推論攻撃よりもはるかに深刻なリスクとなる。
  論文  参考訳（メタデータ） (2022-10-03T14:31:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。