論文の概要: A Novel Estimator of Mutual Information for Learning to Disentangle
Textual Representations
- arxiv url: http://arxiv.org/abs/2105.02685v1
- Date: Thu, 6 May 2021 14:05:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 17:32:29.990597
- Title: A Novel Estimator of Mutual Information for Learning to Disentangle
Textual Representations
- Title（参考訳）: テキスト表現のアンタングル学習のための相互情報の新しい推定法
- Authors: Pierre Colombo and Chloe Clavel and Pablo Piantanida
- Abstract要約: 本稿では、属性とエンコーダの潜入コードの間の相互情報に有する新しい変動上界について紹介する。
これは、Renyiの発散による近似誤差の制御を目標とし、より良い離散表現と望ましい離散度の正確な制御の両方をもたらす。
公平な分類とテキストスタイルの転送タスクにおいて、この方法の優位性を示す。
- 参考スコア（独自算出の注目度）: 27.129551973093008
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Learning disentangled representations of textual data is essential for many
natural language tasks such as fair classification, style transfer and sentence
generation, among others. The existent dominant approaches in the context of
text data {either rely} on training an adversary (discriminator) that aims at
making attribute values difficult to be inferred from the latent code {or rely
on minimising variational bounds of the mutual information between latent code
and the value attribute}. {However, the available methods suffer of the
impossibility to provide a fine-grained control of the degree (or force) of
disentanglement.} {In contrast to} {adversarial methods}, which are remarkably
simple, although the adversary seems to be performing perfectly well during the
training phase, after it is completed a fair amount of information about the
undesired attribute still remains. This paper introduces a novel variational
upper bound to the mutual information between an attribute and the latent code
of an encoder. Our bound aims at controlling the approximation error via the
Renyi's divergence, leading to both better disentangled representations and in
particular, a precise control of the desirable degree of disentanglement {than
state-of-the-art methods proposed for textual data}. Furthermore, it does not
suffer from the degeneracy of other losses in multi-class scenarios. We show
the superiority of this method on fair classification and on textual style
transfer tasks. Additionally, we provide new insights illustrating various
trade-offs in style transfer when attempting to learn disentangled
representations and quality of the generated sentence.
- Abstract（参考訳）: テキストデータの不整合表現を学習することは、公平な分類、スタイル転送、文生成など、多くの自然言語タスクにとって不可欠である。
テキストデータの文脈における支配的なアプローチは、潜在コードから推論されにくい属性値を推論することを目的とした敵(判別器)のトレーニングに依存するか、潜在コードと値属性の間の相互情報の変動境界の最小化に頼っている。
【ただし、利用可能な方法は、絡み合いの度合い(または力)のきめ細かい制御を与えることができない。
対して {adversarial method} は極めて単純であるが、未望の属性に関するかなりの量の情報が残されているため、訓練期間中に完全に機能しているようである。
本稿では,エンコーダの属性と潜在コード間の相互情報に対する新しい変分上界を提案する。
我々の限界は、Renyiの発散による近似誤差の制御を目標とし、より良い非絡み合い表現と、特にテキストデータに提案される所望の非絡み合いの程度を正確に制御することである。
さらに、マルチクラスシナリオにおける他の損失の縮退に苦しむことはない。
本手法は,公平な分類とテキストスタイル転送タスクにおいて優れていることを示す。
さらに,文の異種表現と質を学習しようとする際に,スタイル転送における様々なトレードオフを示す新たな洞察を与える。
関連論文リスト
- Fair Text Classification with Wasserstein Independence [4.887319013701134]
グループフェアネスはテキスト分類における中心的な研究テーマであり、センシティブなグループ間で公平な扱いを受けることはオープンな課題である。
本稿では,モデルアーキテクチャに非依存なニューラルテキスト分類におけるバイアス軽減手法を提案する。
論文 参考訳（メタデータ） (2023-11-21T15:51:06Z) - Learning Fair Representation via Distributional Contrastive
Disentanglement [9.577369164287813]
公正な表現を学ぶことは、公平性を達成するか、センシティブな情報を悪用するために不可欠である。
本稿では,FarconVAE(Contrastive Variational AutoEncoder)を用いたFAir表現学習手法を提案する。
フェアネス、事前訓練されたモデルデバイアス、および様々なモダリティからの領域一般化タスクにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2022-06-17T12:58:58Z) - Annotation Error Detection: Analyzing the Past and Present for a More
Coherent Future [63.99570204416711]
我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。
アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。
私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
論文 参考訳（メタデータ） (2022-06-05T22:31:45Z) - Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。
具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文 参考訳（メタデータ） (2022-05-23T17:38:30Z) - Learning Disentangled Textual Representations via Statistical Measures
of Similarity [35.74568888409149]
トレーニングを必要としない不整合表現を学習するための正規化器のファミリーを導入する。
我々の新しい正規化器は、追加のトレーニングを必要とせず、より速く、追加のチューニングを伴わない。
論文 参考訳（メタデータ） (2022-05-07T08:06:22Z) - Conditional Contrastive Learning: Removing Undesirable Information in
Self-Supervised Representations [108.29288034509305]
我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。
提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
論文 参考訳（メタデータ） (2021-06-05T10:51:26Z) - Scaling-up Disentanglement for Image Translation [40.7636450847048]
ラベル付き属性とラベルなし属性を分離する単一のフレームワークであるOverLORDを提案する。
私達は反対の訓練か建築バイアスに頼りません。
大規模な評価では,最先端手法よりも翻訳品質が高く,出力の多様性も優れている。
論文 参考訳（メタデータ） (2021-03-25T17:52:38Z) - Improving Disentangled Text Representation Learning with
Information-Theoretic Guidance [99.68851329919858]
自然言語の独特な性質は、テキスト表現の分離をより困難にする。
情報理論にインスパイアされた本研究では,テキストの不整合表現を効果的に表現する手法を提案する。
条件付きテキスト生成とテキストスタイル転送の両方の実験は、不整合表現の質を実証する。
論文 参考訳（メタデータ） (2020-06-01T03:36:01Z) - Contextual Text Style Transfer [73.66285813595616]
コンテキストテキストスタイル転送は、文をその周囲のコンテキストを考慮した所望のスタイルに変換することを目的としている。
本稿では,各入力文とその周辺コンテキストに対して2つの異なるエンコーダを使用するコンテキスト認識スタイル転送(CAST)モデルを提案する。
Enron-ContextとReddit-Contextという2つの新しいベンチマークが、フォーマル性と攻撃性スタイルの転送のために導入された。
論文 参考訳（メタデータ） (2020-04-30T23:01:12Z) - Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
不変表現問題に対する新しい非絡み合い手法を提案する。
エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。
提案手法は5つの公開データセットで評価される。
論文 参考訳（メタデータ） (2020-03-12T11:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。