論文の概要: FairLoRA: Unpacking Bias Mitigation in Vision Models with Fairness-Driven Low-Rank Adaptation
- arxiv url: http://arxiv.org/abs/2410.17358v1
- Date: Tue, 22 Oct 2024 18:50:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-24 13:56:11.237779
- Title: FairLoRA: Unpacking Bias Mitigation in Vision Models with Fairness-Driven Low-Rank Adaptation
- Title（参考訳）: FairLoRA:Fairness-Driven Low-Rank Adaptationを用いたビジョンモデルにおけるバイアス軽減
- Authors: Rohan Sukumaran, Aarash Feizi, Adriana Romero-Sorian, Golnoosh Farnadi,
- Abstract要約: 低ランク適応のための新しいフェアネス特化正規化器であるFairLoRAについて紹介する。
以上の結果から,偏見を緩和するためのより高いランクの必要性は普遍的ではなく,事前学習モデルやデータセット,タスクといった要因に依存していることがわかった。
- 参考スコア（独自算出の注目度）: 3.959853359438669
- License:
- Abstract: Recent advances in parameter-efficient fine-tuning methods, such as Low Rank Adaptation (LoRA), have gained significant attention for their ability to efficiently adapt large foundational models to various downstream tasks. These methods are appreciated for achieving performance comparable to full fine-tuning on aggregate-level metrics, while significantly reducing computational costs. To systematically address fairness in LLMs previous studies fine-tune on fairness specific data using a larger LoRA rank than typically used. In this paper, we introduce FairLoRA, a novel fairness-specific regularizer for LoRA aimed at reducing performance disparities across data subgroups by minimizing per-class variance in loss. To the best of our knowledge, we are the first to introduce a fairness based finetuning through LoRA. Our results demonstrate that the need for higher ranks to mitigate bias is not universal; it depends on factors such as the pre-trained model, dataset, and task. More importantly, we systematically evaluate FairLoRA across various vision models, including ViT, DiNO, and CLIP, in scenarios involving distribution shifts. We further emphasize the necessity of using multiple fairness metrics to obtain a holistic assessment of fairness, rather than relying solely on the metric optimized during training.
- Abstract（参考訳）: 低ランク適応(LoRA)のようなパラメータ効率のよい微調整手法の最近の進歩は、大規模な基礎モデルを様々な下流タスクに効率的に適応させる能力において大きな注目を集めている。
これらの手法は、計算コストを大幅に削減しつつ、集約レベルメトリクスの完全な微調整に匹敵する性能を達成することが評価されている。
LLMの以前の研究において、通常よりも大きなLoRAランクを用いて、公正性特定のデータに微調整を施す。
本稿では,クラスごとの損失分散を最小限に抑えることで,データサブグループ間の性能格差を最小化することを目的とした,新しいフェアネス特化正規化器であるFairLoRAを紹介する。
私たちの知る限りでは、私たちはLoRAを通じてフェアネスに基づくファインタニングを導入した最初の人です。
以上の結果から,偏見を緩和するためのより高いランクの必要性は普遍的ではなく,事前学習モデルやデータセット,タスクといった要因に依存していることがわかった。
さらに重要なことは、分布シフトを含むシナリオにおいて、VT、DiNO、CLIPを含む様々なビジョンモデル間でFairLoRAを体系的に評価する。
さらに、トレーニング中に最適化されたメトリックのみに頼るのではなく、複数のフェアネスメトリクスを使用して、フェアネスの全体的評価を得る必要があることを強調する。
関連論文リスト
- Why Gradient Subspace? Identifying and Mitigating LoRA's Bottlenecks in Federated Fine-Tuning of Large Language Models [21.953204885495573]
本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。
直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。
以上の結果から,GaLoreはFlexLoRAやFFA-LoRAといったフェデレートされたLoRA手法よりも,テキストや画像のモダリティにおいて優れた代替手段であることが示唆された。
論文 参考訳（メタデータ） (2024-10-30T15:23:44Z) - LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
本研究では, 異なる微調整法が, スペクトル特性のレンズを用いてモデルの重み行列を解析することにより, 事前学習モデルを変化させる方法について検討した。
単一値分解が全く異なる構造を持つ全微調整およびLoRA収量行列が得られた。
イントルーダ次元がLoRAの微調整モデルになぜ現れるのか、なぜそれらが望ましくないのか、そしてどのようにしてその効果を最小化できるかを検討することで結論を下す。
論文 参考訳（メタデータ） (2024-10-28T17:14:01Z) - Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。
多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
論文 参考訳（メタデータ） (2024-05-29T21:29:44Z) - On Fairness of Low-Rank Adaptation of Large Models [14.522061948788863]
大規模モデルの低ランク適応、特にLoRAは、その計算効率のために勢いを増している。
LoRAが実用性、キャリブレーション、および異なるサブグループ間でのメンバシップ推論に対する抵抗に未検討の影響があるかどうかを問う。
論文 参考訳（メタデータ） (2024-05-27T07:37:43Z) - Learning Fair Ranking Policies via Differentiable Optimization of
Ordered Weighted Averages [55.04219793298687]
本稿では,学習からランクへの学習ループに,効率よく解ける公正ランキングモデルを組み込む方法について述べる。
特に,本論文は,OWA目標の制約された最適化を通じてバックプロパゲーションを行う方法を示す最初のものである。
論文 参考訳（メタデータ） (2024-02-07T20:53:53Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z) - Inference-time Stochastic Ranking with Risk Control [19.20938164194589]
ランク付け方法の学習はオンライン経済において不可欠であり、ユーザやアイテムプロバイダに影響を与える。
本稿では,事前学習されたスコアリング関数に対して,保証されたユーティリティや公平さで推論時にランク付けを行う新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-12T15:44:58Z) - FairAdaBN: Mitigating unfairness with adaptive batch normalization and
its application to dermatological disease classification [14.589159162086926]
バッチ正規化をセンシティブ属性に適応させるFairAdaBNを提案する。
本研究では,FATE(Fairness-Accuracy Trade-off efficiency)と呼ばれる新しい指標を提案する。
2つの皮膚科学データセットを用いた実験により,提案手法はフェアネス基準とFATEの他の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-03-15T02:22:07Z) - Chasing Fairness Under Distribution Shift: A Model Weight Perturbation
Approach [72.19525160912943]
まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。
次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。
これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
論文 参考訳（メタデータ） (2023-03-06T17:19:23Z) - Fairness Reprogramming [42.65700878967251]
モデル再プログラミング手法を取り入れたFairRe Programと呼ばれる新しい汎用フェアネス学習パラダイムを提案する。
具体的には、FairRe Programはモデルを変更することができず、フェアネストリガと呼ばれる一連の摂動を入力に追加するケースについて検討している。
我々は,固定MLモデルの出力予測において,公平性トリガが効果的に人口統計バイアスを曖昧にすることができることを理論的および実証的に示す。
論文 参考訳（メタデータ） (2022-09-21T09:37:00Z) - FairIF: Boosting Fairness in Deep Learning via Influence Functions with
Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。
サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。
FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-01-15T05:14:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。