論文の概要: Learning Disentangled Textual Representations via Statistical Measures of Similarity

• arxiv url: http://arxiv.org/abs/2205.03589v1
• Date: Sat, 7 May 2022 08:06:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-15 09:55:09.414652
• Title: Learning Disentangled Textual Representations via Statistical Measures of Similarity
• Title（参考訳）: 類似性の統計的尺度による不連続テキスト表現の学習
• Authors: Pierre Colombo, Guillaume Staerman, Nathan Noiry, Pablo Piantanida
• Abstract要約: トレーニングを必要としない不整合表現を学習するための正規化器のファミリーを導入する。 我々の新しい正規化器は、追加のトレーニングを必要とせず、より速く、追加のチューニングを伴わない。
• 参考スコア（独自算出の注目度）: 35.74568888409149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When working with textual data, a natural application of disentangled representations is fair classification where the goal is to make predictions without being biased (or influenced) by sensitive attributes that may be present in the data (e.g., age, gender or race). Dominant approaches to disentangle a sensitive attribute from textual representations rely on learning simultaneously a penalization term that involves either an adversarial loss (e.g., a discriminator) or an information measure (e.g., mutual information). However, these methods require the training of a deep neural network with several parameter updates for each update of the representation model. As a matter of fact, the resulting nested optimization loop is both time consuming, adding complexity to the optimization dynamic, and requires a fine hyperparameter selection (e.g., learning rates, architecture). In this work, we introduce a family of regularizers for learning disentangled representations that do not require training. These regularizers are based on statistical measures of similarity between the conditional probability distributions with respect to the sensitive attributes. Our novel regularizers do not require additional training, are faster and do not involve additional tuning while achieving better results both when combined with pretrained and randomly initialized text encoders.
• Abstract（参考訳）: テキストデータを扱うとき、不整合表現の自然な応用は、データ(例えば年齢、性別、人種など)に現れるセンシティブな属性によってバイアス(または影響)を受けずに予測を行うことを目標とする公平な分類である。 テキスト表現からセンシティブな属性をアンタングルする支配的アプローチは、敵対的損失(例えば、差別者)または情報測度(例えば、相互情報)を含む罰則化用語を同時に学習に依存する。 しかし、これらの方法は、表現モデルの更新毎にいくつかのパラメータ更新を伴うディープニューラルネットワークのトレーニングを必要とする。 実のところ、ネストした最適化ループは時間消費であり、最適化ダイナミクスに複雑さを加え、細かいハイパーパラメータの選択(学習率、アーキテクチャなど)を必要とする。 本稿では,訓練を必要としない異種表現を学習するための正規化子群について紹介する。 これらの正規化器は、感度特性に関する条件付き確率分布の類似性の統計測度に基づいている。 我々の新しい正規化器は、事前訓練とランダムに初期化されたテキストエンコーダを組み合わせると、追加のトレーニングを必要とせず、高速であり、追加のチューニングを伴わない。

関連論文リスト

• Improving Fairness using Vision-Language Driven Image Augmentation [60.428157003498995]
  公平性は、特に顔領域において、ディープラーニングの識別モデルを訓練する際に重要である。 モデルは、特定の特性(年齢や肌の色など)と無関係な属性(下流タスク)を関連付ける傾向がある 本稿では,これらの相関を緩和し,公平性を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T19:51:10Z)
• Target Variable Engineering [0.0]
  数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。 回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
  論文  参考訳（メタデータ） (2023-10-13T23:12:21Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Hyper-parameter Tuning for Fair Classification without Sensitive Attribute Access [12.447577504758485]
  トレーニングデータや検証データの機密属性にアクセスすることなく、公平な分類器を訓練するフレームワークを提案する。 我々は,これらのプロキシラベルが平均精度制約下での公平性を最大化するために利用できることを理論的,実証的に示す。
  論文  参考訳（メタデータ） (2023-02-02T19:45:50Z)
• Invariant Representations with Stochastically Quantized Neural Networks [5.7923858184309385]
  本稿では,ニューラル層とセンシティブ属性間の相互情報の直接計算手法を提案する。 本手法は,公正表現学習における技術状況と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2022-08-04T13:36:06Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
  メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-03-04T18:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。