論文の概要: A Novel Information-Theoretic Objective to Disentangle Representations for Fair Classification

• arxiv url: http://arxiv.org/abs/2310.13990v1
• Date: Sat, 21 Oct 2023 12:35:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 04:07:31.660173
• Title: A Novel Information-Theoretic Objective to Disentangle Representations for Fair Classification
• Title（参考訳）: 公平な分類のための新しい情報理論的客観表現
• Authors: Pierre Colombo, Nathan Noiry, Guillaume Staerman, Pablo Piantanida
• Abstract要約: そのような非絡み合った表現に対する主な応用の1つは、公平な分類である。 我々は、この問題の情報理論的視点を採用し、レギュレータの新しいファミリーを動機付けている。 結果として得られた損失はCLINICと呼ばれ、パラメータフリーである。
• 参考スコア（独自算出の注目度）: 46.884905701771004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the pursued objectives of deep learning is to provide tools that learn abstract representations of reality from the observation of multiple contextual situations. More precisely, one wishes to extract disentangled representations which are (i) low dimensional and (ii) whose components are independent and correspond to concepts capturing the essence of the objects under consideration (Locatello et al., 2019b). One step towards this ambitious project consists in learning disentangled representations with respect to a predefined (sensitive) attribute, e.g., the gender or age of the writer. Perhaps one of the main application for such disentangled representations is fair classification. Existing methods extract the last layer of a neural network trained with a loss that is composed of a cross-entropy objective and a disentanglement regularizer. In this work, we adopt an information-theoretic view of this problem which motivates a novel family of regularizers that minimizes the mutual information between the latent representation and the sensitive attribute conditional to the target. The resulting set of losses, called CLINIC, is parameter free and thus, it is easier and faster to train. CLINIC losses are studied through extensive numerical experiments by training over 2k neural networks. We demonstrate that our methods offer a better disentanglement/accuracy trade-off than previous techniques, and generalize better than training with cross-entropy loss solely provided that the disentanglement task is not too constraining.
• Abstract（参考訳）: 深層学習の追求する目的の1つは、複数の状況の観察から現実の抽象表現を学習するツールを提供することである。 より正確には、非絡み合った表現を抽出したいと考える。 (i)低次元,低次元 (ii)コンポーネントが独立であり、検討中のオブジェクトの本質を捉える概念に対応している(locatello et al., 2019b)。 この野心的なプロジェクトへの1つのステップは、事前に定義された(センシティブな)属性、例えば作家の性別や年齢に関して、絡み合った表現を学ぶことである。 このような絡み合った表現に対する主な応用の1つは、公正な分類である。 既存の手法では、クロスエントロピー目標とジエンタングルメント正規化器からなる損失で訓練されたニューラルネットワークの最終層を抽出する。 本研究では,この問題に対する情報理論的視点を取り入れ,正規化要因の新たなファミリーを動機付け,潜在表現と対象に適応する感性属性の相互情報を最小化する。 結果として生じる損失は、クリニックと呼ばれるパラメータフリーであり、トレーニングが容易で高速である。 クリニック損失は、2kニューラルネットワークのトレーニングによる広範囲な数値実験を通じて研究される。 提案手法は,従来の手法よりも高精度な異方性/正確性トレードオフを提供し,異方性損失によるトレーニングよりも一般化できることを実証する。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• DISCOVER: Making Vision Networks Interpretable via Competition and Dissection [11.028520416752325]
  この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
  論文  参考訳（メタデータ） (2023-10-07T21:57:23Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Contrastive Classification and Representation Learning with Probabilistic Interpretation [5.979778557940212]
  クロスエントロピー損失は、分類に基づくタスクの主目的関数として機能している。 ネットワークの分類器とバックボーンのパラメータを協調的に学習する教師付きコントラスト訓練の新バージョンを提案する。
  論文  参考訳（メタデータ） (2022-11-07T15:57:24Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• T-Norms Driven Loss Functions for Machine Learning [19.569025323453257]
  ニューラルシンボリックアプローチのクラスは、事前の知識を表現するための一階述語論理に基づいている。 本稿では,これらのニューラルシンボリック学習タスクを表現する損失関数を曖昧に決定できることを示す。
  論文  参考訳（メタデータ） (2019-07-26T10:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。