論文の概要: The Geometry of Distributed Representations for Better Alignment,
Attenuated Bias, and Improved Interpretability
- arxiv url: http://arxiv.org/abs/2011.12465v1
- Date: Wed, 25 Nov 2020 01:04:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 01:53:42.474979
- Title: The Geometry of Distributed Representations for Better Alignment,
Attenuated Bias, and Improved Interpretability
- Title（参考訳）: より良いアライメント, 減衰バイアス, 解釈可能性向上のための分散表現の幾何学
- Authors: Sunipa Dev
- Abstract要約: 単語、テキスト、画像、知識グラフなどの構造化データに対する高次元表現は、機械学習やデータマイニングで一般的に使用される。
これらの表現は解釈可能性の度合いが異なり、効率的な分散表現は次元マッピングへの特徴の喪失の犠牲となる。
その影響は、多くの表現やタスクで見られ、特に問題のあるものは、基礎となるデータから学習された社会的偏見が未知の次元や部分空間で捕捉され、隠蔽される言語表現である。
この研究は、これらの表現の透明性と解釈可能性に関連するこれらの問題に対処する。
- 参考スコア（独自算出の注目度）: 9.215513608145994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-dimensional representations for words, text, images, knowledge graphs
and other structured data are commonly used in different paradigms of machine
learning and data mining. These representations have different degrees of
interpretability, with efficient distributed representations coming at the cost
of the loss of feature to dimension mapping. This implies that there is
obfuscation in the way concepts are captured in these embedding spaces. Its
effects are seen in many representations and tasks, one particularly
problematic one being in language representations where the societal biases,
learned from underlying data, are captured and occluded in unknown dimensions
and subspaces. As a result, invalid associations (such as different races and
their association with a polar notion of good versus bad) are made and
propagated by the representations, leading to unfair outcomes in different
tasks where they are used. This work addresses some of these problems
pertaining to the transparency and interpretability of such representations. A
primary focus is the detection, quantification, and mitigation of socially
biased associations in language representation.
- Abstract（参考訳）: 単語、テキスト、画像、知識グラフ、その他の構造化データの高次元表現は、機械学習とデータマイニングの異なるパラダイムで一般的に使用される。
これらの表現は解釈可能性の度合いが異なり、効率的な分散表現は次元マッピングへの特徴の喪失の犠牲となる。
これは、これらの埋め込み空間において概念を捉える方法には難解性が存在することを意味する。
その影響は多くの表現やタスクで見られ、特に問題となるのは、基礎となるデータから学んだ社会バイアスが、未知の次元や部分空間で捉えられ、隠されている言語表現である。
その結果、無効な関係(異なる人種や、善と悪の極的な概念との結びつき)が表現によって作られ、伝播し、それらが使われる様々なタスクにおいて不公平な結果をもたらす。
この研究は、これらの表現の透明性と解釈可能性に関連するこれらの問題に対処する。
主な焦点は、言語表現における社会的に偏った関連の検出、定量化、緩和である。
関連論文リスト
- Balancing the Scales: Enhancing Fairness in Facial Expression Recognition with Latent Alignment [5.784550537553534]
このワークル平均は、表情認識システムにおけるバイアスを軽減するために、潜在空間に基づく表現学習を行う。
また、ディープラーニングモデルの公平性と全体的な正確性も向上する。
論文 参考訳（メタデータ） (2024-10-25T10:03:10Z) - The Curious Case of Representational Alignment: Unravelling Visio-Linguistic Tasks in Emergent Communication [1.3499500088995464]
エージェント画像表現とエージェント表現と入力画像との表現アライメントを評価する。
我々は,構成性の共通指標である,エージェント間のアライメントと地形的類似性の強い関係を同定する。
本研究は,言語出現のシミュレーションにおいて,表現的アライメントが果たす重要な役割を強調した。
論文 参考訳（メタデータ） (2024-07-25T11:29:27Z) - Explaining Representation Learning with Perceptual Components [14.10876324116018]
自己教師付きモデルは明確な意味を持たない表現空間を作成する。
色,形状,テクスチャという3つの重要な知覚成分を用いて表現空間を解析する新しい手法を提案する。
我々のアプローチは表現空間の解釈可能性を高め、人間の視覚的知覚に共鳴する説明を提供する。
論文 参考訳（メタデータ） (2024-06-11T04:08:37Z) - Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。
系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。
この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
論文 参考訳（メタデータ） (2024-03-25T03:18:39Z) - Intervention Lens: from Representation Surgery to String Counterfactuals [106.98481791980367]
言語モデル(LM)の表現空間をターゲットとした介入は、モデル行動に影響を与える効果的な手段として現れてきた。
表現反事実を文字列反事実に変換する方法を提案する。
結果として生じるカウンターファクトは、データ拡張による分類のバイアスを軽減するために使用することができる。
論文 参考訳（メタデータ） (2024-02-17T18:12:02Z) - What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary [68.77983831618685]
本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
論文 参考訳（メタデータ） (2022-12-20T16:03:25Z) - Latent Topology Induction for Understanding Contextualized
Representations [84.7918739062235]
本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。
文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
論文 参考訳（メタデータ） (2022-06-03T11:22:48Z) - High-dimensional distributed semantic spaces for utterances [0.2907403645801429]
本稿では,発話とテキストレベルデータの高次元表現モデルについて述べる。
言語情報を表現する数学的原理と行動学的に妥当なアプローチに基づいている。
本論文は,固定次元の共通積分フレームワークにおいて,実装モデルが言語的特徴を広範囲に表すことができるかを示す。
論文 参考訳（メタデータ） (2021-04-01T12:09:47Z) - Interpretable Representations in Explainable AI: From Theory to Practice [7.031336702345381]
解釈可能な表現は、ブラックボックス予測システムをターゲットにした多くの説明器のバックボーンである。
人間の理解可能な概念の存在と欠如をエンコードする解釈可能な表現の特性について検討する。
論文 参考訳（メタデータ） (2020-08-16T21:44:03Z) - Contrastive Examples for Addressing the Tyranny of the Majority [83.93825214500131]
我々は,グループメンバーシップを介在する,オリジナルのデータセットと新たなデータポイントからなるバランスの取れたトレーニングデータセットを作成することを提案する。
コントラッシブ・サンプル(英語版)と呼ばれるこれらのデータポイントを学習するための強力なツールとして、現在の生成的敵ネットワークが重要であることを示す。
論文 参考訳（メタデータ） (2020-04-14T14:06:44Z) - Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
不変表現問題に対する新しい非絡み合い手法を提案する。
エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。
提案手法は5つの公開データセットで評価される。
論文 参考訳（メタデータ） (2020-03-12T11:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。