論文の概要: ML-EAT: A Multilevel Embedding Association Test for Interpretable and Transparent Social Science

• arxiv url: http://arxiv.org/abs/2408.01966v2
• Date: Tue, 27 Aug 2024 20:05:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 20:28:56.879397
• Title: ML-EAT: A Multilevel Embedding Association Test for Interpretable and Transparent Social Science
• Title（参考訳）: ML-EAT: 解釈・透明な社会科学のための多段階埋め込みアソシエーションテスト
• Authors: Robert Wolfe, Alexis Hiniker, Bill Howe,
• Abstract要約: 本研究はML-EAT(Multilevel Embedding Association Test)を紹介する。 ML-EATは従来のEAT測定の曖昧さと難易度の問題に対処している。 本研究は,ML-EATを用いて,埋め込み型アソシエーションテストの9つの可能性について,EATパターンの分類を定義した。
• 参考スコア（独自算出の注目度）: 18.682235650233743
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This research introduces the Multilevel Embedding Association Test (ML-EAT), a method designed for interpretable and transparent measurement of intrinsic bias in language technologies. The ML-EAT addresses issues of ambiguity and difficulty in interpreting the traditional EAT measurement by quantifying bias at three levels of increasing granularity: the differential association between two target concepts with two attribute concepts; the individual effect size of each target concept with two attribute concepts; and the association between each individual target concept and each individual attribute concept. Using the ML-EAT, this research defines a taxonomy of EAT patterns describing the nine possible outcomes of an embedding association test, each of which is associated with a unique EAT-Map, a novel four-quadrant visualization for interpreting the ML-EAT. Empirical analysis of static and diachronic word embeddings, GPT-2 language models, and a CLIP language-and-image model shows that EAT patterns add otherwise unobservable information about the component biases that make up an EAT; reveal the effects of prompting in zero-shot models; and can also identify situations when cosine similarity is an ineffective metric, rendering an EAT unreliable. Our work contributes a method for rendering bias more observable and interpretable, improving the transparency of computational investigations into human minds and societies.
• Abstract（参考訳）: 本研究は,言語工学における内在バイアスの解釈と透過的測定を目的とした多段階埋め込みアソシエーションテスト(ML-EAT)を紹介する。 ML-EATは、2つの属性概念と2つの属性概念の差分関係、それぞれの目標概念と個々の属性概念の差分関係、という3つのレベルにおいてバイアスを定量化することで、従来のEAT測定の曖昧さと難易度を解釈する問題に対処する。 本研究は, ML-EATを用いて, 埋め込みアソシエーションテストの9つの可能性を示すEATパターンの分類を定義した。 静的およびダイアクロニックな単語埋め込み、GPT-2言語モデル、およびCLIP言語と画像モデルの実証分析により、EATパターンは、EATを構成するコンポーネントバイアスに関する観測不可能な情報を追加し、ゼロショットモデルでプロンプトの効果を明らかにする。 我々の研究は、偏見をより観察可能かつ解釈可能とし、人間の心や社会に対する計算調査の透明性を向上させる方法に貢献している。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Compositional Zero-shot Learning via Progressive Language-based Observations [14.85007028612901]
  本稿では,プログレッシブ言語に基づく観察(PLO)を提案する。 PLOは、事前に訓練された視覚言語モデル(VLM)を採用し、観察能力を持つモデルを強化する。
  論文  参考訳（メタデータ） (2023-11-23T10:14:23Z)
• Explore Spurious Correlations at the Concept Level in Language Models for Text Classification [28.832684088975622]
  言語モデル(LM)は多くのNLPタスクで顕著な成功を収めた。 トレーニングデータやICLの実践者の不均衡なラベル分布から生じる急激な相関による堅牢性の問題に直面している。 本稿では,2つの主なコントリビューションを紹介する。まず,概念ラベルをテキストに割り当てるためにChatGPTを用い,テストデータ上での微調整時のモデルにおける概念バイアスやICLを評価する。 第2に,ChatGPT生成した反ファクトデータを組み込んだデータ再バランス手法を導入し,ラベル分布のバランスを保ち,突発的相関を緩和する。
  論文  参考訳（メタデータ） (2023-11-15T01:58:54Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Unsupervised discovery of Interpretable Visual Concepts [0.0]
  モデルの決定を説明する2つの方法を提案し,グローバルな解釈可能性を高める。 咬合・感性分析(因果性を含む)にインスパイアされた1つの方法 別の方法は、クラス認識順序相関 (Class-Aware Order correlation, CAOC) と呼ばれる新しいメトリクスを用いて、最も重要な画像領域を世界規模で評価する。
  論文  参考訳（メタデータ） (2023-08-31T07:53:02Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。