論文の概要: Robustness Beyond Known Groups with Low-rank Adaptation

• arxiv url: http://arxiv.org/abs/2602.06924v2
• Date: Mon, 09 Feb 2026 02:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 17:49:39.513868
• Title: Robustness Beyond Known Groups with Low-rank Adaptation
• Title（参考訳）: 低ランク適応を持つ既知群を超えるロバスト性
• Authors: Abinitha Gourabathina, Hyewon Jeong, Teya Bergamaschi, Marzyeh Ghassemi, Collin Stultz,
• Abstract要約: ディープラーニングモデルは、しばしば特定のサブ集団に系統的な失敗を示す。 既存のグループロバスト手法は、訓練やモデル選択にグループアノテーションを使用して、関連するサブグループの事前知識を前提としている。 低次元部分空間を同定してグループロバスト性を改善する単純な2段階法である低ランク誤り情報適応法(LEIA)を提案する。
• 参考スコア（独自算出の注目度）: 13.964792794219333
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep learning models trained to optimize average accuracy often exhibit systematic failures on particular subpopulations. In real world settings, the subpopulations most affected by such disparities are frequently unlabeled or unknown, thereby motivating the development of methods that are performant on sensitive subgroups without being pre-specified. However, existing group-robust methods typically assume prior knowledge of relevant subgroups, using group annotations for training or model selection. We propose Low-rank Error Informed Adaptation (LEIA), a simple two-stage method that improves group robustness by identifying a low-dimensional subspace in the representation space where model errors concentrate. LEIA restricts adaptation to this error-informed subspace via a low-rank adjustment to the classifier logits, directly targeting latent failure modes without modifying the backbone or requiring group labels. Using five real-world datasets, we analyze group robustness under three settings: (1) truly no knowledge of subgroup relevance, (2) partial knowledge of subgroup relevance, and (3) full knowledge of subgroup relevance. Across all settings, LEIA consistently improves worst-group performance while remaining fast, parameter-efficient, and robust to hyperparameter choice.
• Abstract（参考訳）: 平均精度を最適化するために訓練されたディープラーニングモデルは、しばしば特定のサブ集団に体系的な障害を示す。 現実の環境では、そのような格差によって最も影響を受けるサブ集団は、しばしばラベル付けされていないか、不明であり、それによって、事前に特定されることなく、機密サブグループに作用する手法の開発を動機付けている。 しかし、既存のグループロバスト手法は、訓練やモデル選択にグループアノテーションを使用して、関連するサブグループの事前の知識を前提とするのが一般的である。 モデル誤差が集中する表現空間内の低次元部分空間を同定することにより、グループロバスト性を改善する単純な2段階法である低ランク誤り情報適応法(LEIA)を提案する。 LEIAは、バックボーンを変更したり、グループラベルを必要とせずに、遅延障害モードを直接ターゲットとして、ローランクの調整によって、このエラーインフォームドサブ空間への適応を制限する。 実世界の5つのデータセットを用いて,(1) サブグループの関連性に関する真の知識,(2) サブグループの関連性に関する部分的知識,(3) サブグループの関連性に関する完全な知識の3つの設定の下でグループロバスト性を分析する。 すべての設定において、LEIAは、高速でパラメータ効率が高く、高パラメータ選択の堅牢さを維持しながら、最悪のグループパフォーマンスを一貫して改善する。

関連論文リスト

• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Improved Group Robustness via Classifier Retraining on Independent Splits [6.930560177764658]
  群分布的ロバスト最適化は、強力な最悪群性能を持つ学習モデルのベースラインとして広く使われている。 本稿では,トレーニングデータの独立分割に基づくリトレーニングのアイデアに基づいて,簡単な手法を設計する。 新たなサンプル分割手法を用いることで、微調整工程において、ロバストな最悪のグループ性能が得られることが判明した。
  論文  参考訳（メタデータ） (2022-04-20T16:22:27Z)
• Addressing Missing Sources with Adversarial Support-Matching [8.53946780558779]
  そこで本研究では,データ内の2段階階層の2段階に,データの欠如が関係しているシナリオについて検討する。 アルゴリズム的公正性から保護された群の概念に触発され、この第2階層によって彫られた分割を「部分群」と呼ぶ。 私たちは、サブグループに不変な表現を学ぶために、"deployment set"と呼ばれる追加で多様だがラベルなしのデータセットを使用します。
  論文  参考訳（メタデータ） (2022-03-24T16:19:19Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Model Patching: Closing the Subgroup Performance Gap with Data Augmentation [50.35010342284508]
  機械学習モデルの堅牢性を改善するためのフレームワークであるモデルパッチを導入する。 モデルパッチは、サブグループの違いに対してモデルを不変にすることを奨励し、サブグループによって共有されるクラス情報にフォーカスする。 CAMELは,(1)CycleGANを用いてクラス内およびサブグループ間拡張を学習し,(2)理論上動機付けられた整合性正規化器を用いてサブグループ性能のバランスをとる。 CAMELの有効性を3つのベンチマークデータセットで示し、最高のベースラインに対して、ロバストなエラーを最大33%削減した。
  論文  参考訳（メタデータ） (2020-08-15T20:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。