Fugu-MT 論文翻訳(概要): Back to the Drawing Board for Fair Representation Learning

論文の概要: Back to the Drawing Board for Fair Representation Learning

arxiv url: http://arxiv.org/abs/2405.18161v1
Date: Tue, 28 May 2024 13:23:04 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 18:29:23.888756
Title: Back to the Drawing Board for Fair Representation Learning
Title（参考訳）: 公正表現学習のための図面ボードへの回帰
Authors: Angéline Pouget, Nikola Jovanović, Mark Vero, Robin Staab, Martin Vechev,
Abstract要約: フェア表現学習(FRL)手法の評価は,下流のフェアネスと1つのタスクに対する精度のトレードオフに主眼を置いている。本研究では,この手法がFRLの当初の動機と根本的に一致していないことを論じる。適切な評価手順が満たすべき4つの基準を満たすベンチマークであるTransFairを提案する。
参考スコア（独自算出の注目度）: 2.7379431425414684
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The goal of Fair Representation Learning (FRL) is to mitigate biases in machine learning models by learning data representations that enable high accuracy on downstream tasks while minimizing discrimination based on sensitive attributes. The evaluation of FRL methods in many recent works primarily focuses on the tradeoff between downstream fairness and accuracy with respect to a single task that was used to approximate the utility of representations during training (proxy task). This incentivizes retaining only features relevant to the proxy task while discarding all other information. In extreme cases, this can cause the learned representations to collapse to a trivial, binary value, rendering them unusable in transfer settings. In this work, we argue that this approach is fundamentally mismatched with the original motivation of FRL, which arises from settings with many downstream tasks unknown at training time (transfer tasks). To remedy this, we propose to refocus the evaluation protocol of FRL methods primarily around the performance on transfer tasks. A key challenge when conducting such an evaluation is the lack of adequate benchmarks. We address this by formulating four criteria that a suitable evaluation procedure should fulfill. Based on these, we propose TransFair, a benchmark that satisfies these criteria, consisting of novel variations of popular FRL datasets with carefully calibrated transfer tasks. In this setting, we reevaluate state-of-the-art FRL methods, observing that they often overfit to the proxy task, which causes them to underperform on certain transfer tasks. We further highlight the importance of task-agnostic learning signals for FRL methods, as they can lead to more transferrable representations.
Abstract（参考訳）: Fair Representation Learning(FRL)の目標は、データ表現を学習することで、機械学習モデルのバイアスを軽減することにある。近年の多くの研究におけるFRL法の評価は、トレーニング中の表現の有用性(プロキシタスク)を近似するために用いられた単一のタスクに対して、下流の公平性と正確性の間のトレードオフに焦点を当てている。これにより、他のすべての情報を破棄しながら、プロキシタスクに関連する機能のみを保持するインセンティブが与えられる。極端なケースでは、学習した表現が簡単なバイナリ値に崩壊し、転送設定では使用不能になる可能性がある。本研究では、この手法が、トレーニング時に未知の下流タスク(参照タスク)が多数存在する設定から生じるFRLの元々のモチベーションと根本的に一致していないことを論じる。そこで本研究では、FRL法の評価プロトコルを、主に転送タスクの性能に焦点をあてて再検討する。このような評価を行う上で重要な課題は、適切なベンチマークの欠如である。適切な評価手順が満たすべき4つの基準を定式化することで、この問題に対処する。そこで本研究では,これらの基準を満たすベンチマークであるTransFairを提案する。この設定では、最先端のFRL手法を再評価し、プロキシタスクに過度に適合し、特定の転送タスクで過度にパフォーマンスが低下することを確認する。さらに,FRL法におけるタスクに依存しない学習信号の重要性を強調した。

関連論文リスト

Balancing the Scales: Reinforcement Learning for Fair Classification [2.262217900462841]
分類タスクの公平性は、伝統的に神経表現からのバイアス除去に焦点を当ててきた。最近の傾向は、トレーニングプロセスに公正さを埋め込むアルゴリズム的手法を好んでいる。我々は、コンテキスト的マルチアーム・バンディット・フレームワークを採用し、我々の目的に合うように3つの人気のあるRLアルゴリズムを適用した。
論文参考訳（メタデータ） (2024-07-15T11:28:16Z)
Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study [16.07380451502911]
本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
論文参考訳（メタデータ） (2023-07-17T15:38:11Z)
An Information-Theoretic Approach to Transferability in Task Transfer Learning [16.05523977032659]
タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
論文参考訳（メタデータ） (2022-12-20T08:47:17Z)
FARE: Provably Fair Representation Learning with Practical Certificates [9.242965489146398]
FARE(FARE)は,実用的公平性証明を備えたFRL法である。 FAREは,エンコーダの表現空間を制限することで,現実的な保証の導出を可能にするという重要な知見に基づいている。 FAREは、厳密で、純粋に経験的な結果に匹敵する、実用的な証明書を生成する。
論文参考訳（メタデータ） (2022-10-13T17:40:07Z)
Light-weight probing of unsupervised representations for Reinforcement Learning [20.638410483549706]
線形探索が教師なしRL表現の品質評価の代行的タスクであるかどうかを検討する。本稿では,Atari100kベンチマークにおける下流RL性能と,探索タスクが強く相関していることを示す。これにより、事前学習アルゴリズムの空間を探索し、有望な事前学習レシピを特定するためのより効率的な方法が提供される。
論文参考訳（メタデータ） (2022-08-25T21:08:01Z)
Contrastive Learning as Goal-Conditioned Reinforcement Learning [147.28638631734486]
強化学習(RL)では,優れた表現が与えられると,課題の解決が容易になる。ディープRLはこのような優れた表現を自動的に取得する必要があるが、事前の作業では、エンドツーエンドの方法での学習表現が不安定であることが多い。比較的)表現学習法は,RLアルゴリズムとして自己にキャスト可能であることを示す。
論文参考訳（メタデータ） (2022-06-15T14:34:15Z)
Provable Benefits of Representational Transfer in Reinforcement Learning [59.712501044999875]
本稿では,RLにおける表現伝達の問題について検討し,エージェントがまず複数のソースタスクを事前訓練し,共有表現を発見する。本稿では,ソースタスクに対する生成的アクセスが与えられた場合,次に続く線形RL手法がほぼ最適ポリシーに迅速に収束する表現を発見できることを示す。
論文参考訳（メタデータ） (2022-05-29T04:31:29Z)
Exploratory State Representation Learning [63.942632088208505]
本稿では,XSRL(eXploratory State Representation Learning)と呼ばれる新しい手法を提案する。一方、コンパクトな状態表現と、その表現から不可解な情報を除去するために使用される状態遷移推定器を共同で学習する。一方、逆モデルを継続的に訓練し、このモデルの予測誤差に$k$-stepの学習促進ボーナスを加え、発見ポリシーの目的を形成する。
論文参考訳（メタデータ） (2021-09-28T10:11:07Z)
Instabilities of Offline RL with Pre-Trained Neural Representation [127.89397629569808]
オフライン強化学習(RL)では、オフラインデータを利用して、評価対象のポリシーのそれとは大きく異なる分布からデータが収集されるシナリオでポリシーを評価する(または学習する)ことを目指しています。最近の理論的進歩は、そのようなサンプル効率の良いオフラインRLが確かにある強い表現条件が保持されることを示した。本研究は,オフラインrlメソッドの安定性を評価するために,経験的視点からこれらの問題を考察する。
論文参考訳（メタデータ） (2021-03-08T18:06:44Z)
Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文参考訳（メタデータ） (2020-10-16T17:45:08Z)
Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。