論文の概要: Robust Concept Erasure via Kernelized Rate-Distortion Maximization

• arxiv url: http://arxiv.org/abs/2312.00194v1
• Date: Thu, 30 Nov 2023 21:10:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 16:25:55.964360
• Title: Robust Concept Erasure via Kernelized Rate-Distortion Maximization
• Title（参考訳）: カーネル化速度歪み最大化によるロバスト概念消去
• Authors: Somnath Basu Roy Chowdhury, Nicholas Monath, Avinava Dubey, Amr Ahmed, Snigdha Chaturvedi
• Abstract要約: KRaM(Kernelized Rate-Distortion Maximizer)を提案する。 KRaMは、修正レート歪み関数を用いて指定された距離測度(ラベル付き概念で定義され消去される)と一致するように表現の変換に適合する。 KRaMは、データ表現からカテゴリ変数、連続変数、ベクトル値変数など、さまざまな種類の概念を効果的に消去する。
• 参考スコア（独自算出の注目度）: 38.19696482602788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed representations provide a vector space that captures meaningful relationships between data instances. The distributed nature of these representations, however, entangles together multiple attributes or concepts of data instances (e.g., the topic or sentiment of a text, characteristics of the author (age, gender, etc), etc). Recent work has proposed the task of concept erasure, in which rather than making a concept predictable, the goal is to remove an attribute from distributed representations while retaining other information from the original representation space as much as possible. In this paper, we propose a new distance metric learning-based objective, the Kernelized Rate-Distortion Maximizer (KRaM), for performing concept erasure. KRaM fits a transformation of representations to match a specified distance measure (defined by a labeled concept to erase) using a modified rate-distortion function. Specifically, KRaM's objective function aims to make instances with similar concept labels dissimilar in the learned representation space while retaining other information. We find that optimizing KRaM effectively erases various types of concepts: categorical, continuous, and vector-valued variables from data representations across diverse domains. We also provide a theoretical analysis of several properties of KRaM's objective. To assess the quality of the learned representations, we propose an alignment score to evaluate their similarity with the original representation space. Additionally, we conduct experiments to showcase KRaM's efficacy in various settings, from erasing binary gender variables in word embeddings to vector-valued variables in GPT-3 representations.
• Abstract（参考訳）: 分散表現は、データインスタンス間の有意義な関係をキャプチャするベクトル空間を提供する。 しかし、これらの表現の分散的な性質は、データインスタンスの複数の属性や概念(例えば、テキストのトピックや感情、著者の特性(年齢、性別など)を絡み合っている。 近年の研究では、概念を予測可能にするのではなく、分散表現から属性を取り除き、他の情報を可能な限り元の表現空間から保持するという、概念消去のタスクが提案されている。 本稿では,概念消去を行うための距離メトリック学習に基づく新しい目標であるKernelized Rate-Distortion Maximizer (KRaM)を提案する。 KRaMは、修正レート歪み関数を用いて指定された距離測度(ラベル付き概念で定義され消去される)と一致するように表現の変換に適合する。 具体的には、KRaMの目的関数は、他の情報を保持しながら、学習された表現空間で類似した概念ラベルを持つインスタンスを識別することを目的としている。 KRaMの最適化は,データ表現からカテゴリ変数,連続変数,ベクトル値変数など,さまざまな種類の概念を効果的に消去する。 また、KRaMの目的のいくつかの性質を理論的に解析する。 学習した表現の質を評価するために,元の表現空間との類似性を評価するアライメントスコアを提案する。 さらに,単語埋め込みにおける二項性変数の消去からgpt-3表現におけるベクトル値変数まで,様々な場面でkramの有効性を示す実験を行った。

関連論文リスト

• Separating common from salient patterns with Contrastive Representation Learning [2.250968907999846]
  コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。 変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。 コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
  論文  参考訳（メタデータ） (2024-02-19T08:17:13Z)
• Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking [0.5242869847419834]
  情報エントロピーを低減するために動的ビジュアルセマンティックサブエンベッドディングフレームワーク(DVSE)を提案する。 生成した候補埋め込みに様々な意味的変動を捉えるよう促すため,混合分布を構築した。 3つのベンチマークデータセット上の4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いて,既存のセットベース手法と比較した。
  論文  参考訳（メタデータ） (2023-09-15T04:39:11Z)
• KMF: Knowledge-Aware Multi-Faceted Representation Learning for Zero-Shot Node Classification [75.95647590619929]
  Zero-Shot Node Classification (ZNC)は、グラフデータ分析において、新しく重要なタスクである。 ラベルセマンティクスの豊かさを向上する知識認識型多面的フレームワーク(KMF)を提案する。 ノード情報集約によるプロトタイプドリフトの問題を軽減するために,新しい幾何学的制約を開発した。
  論文  参考訳（メタデータ） (2023-08-15T02:38:08Z)
• An Integral Projection-based Semantic Autoencoder for Zero-Shot Learning [0.46644955105516456]
  ゼロショット学習(ZSL)分類は、トレーニングセットに含まれないクラス(ラベル)を分類または予測する(見えないクラス)。 近年の研究では、エンコーダが視覚的特徴空間をセマンティック空間に埋め込み、デコーダが元の視覚的特徴空間を再構成する、異なる意味的オートエンコーダ(SAE)モデルが提案されている。 本稿では,意味空間でベクトル化された視覚的特徴空間を潜在表現空間に投影する統合投影型セマンティックオートエンコーダ(IP-SAE)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:06:20Z)
• Reflection Invariance Learning for Few-shot Semantic Segmentation [53.20466630330429]
  Few-shot semantic segmentation (FSS) は、いくつかのアノテーション付きサポートイメージを持つクエリイメージにおいて、目に見えないクラスのオブジェクトをセグメントすることを目的としている。 本稿では,マルチビューマッチング方式でリフレクション不変性をマイニングするための,新しい数ショットセグメンテーションフレームワークを提案する。 PASCAL-$5textiti$とCOCO-$20textiti$データセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-01T15:14:58Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• VAE-CE: Visual Contrastive Explanation using Disentangled VAEs [3.5027291542274357]
  変分自己エンコーダに基づくコントラスト説明(VAE-CE) 本研究では,各次元をアンタングル化するための新しい教師付き手法で拡張した,アンタングル付きVAEを用いたモデルを構築した。 合成データとMNISTの分析は、解離と説明の両方へのアプローチが他の方法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2021-08-20T13:15:24Z)
• Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
  そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。 また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。 実験の結果,提案手法は従来の手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2021-07-08T13:10:42Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。