論文の概要: Group Distributionally Robust Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2311.00476v1
• Date: Wed, 1 Nov 2023 12:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 13:41:57.420045
• Title: Group Distributionally Robust Knowledge Distillation
• Title（参考訳）: 群分布ロバストな知識蒸留
• Authors: Konstantinos Vilouras, Xiao Liu, Pedro Sanchez, Alison Q. O'Neil, Sotirios A. Tsaftaris
• Abstract要約: サブポピュレーションシフトは、医療画像解析において一般的なシナリオである。 本稿では,グループ対応蒸留損失を提案する。 提案手法であるGroupDistilを2つのベンチマークデータセット上で実証的に検証する。
• 参考スコア（独自算出の注目度）: 16.058258572636376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation enables fast and effective transfer of features learned from a bigger model to a smaller one. However, distillation objectives are susceptible to sub-population shifts, a common scenario in medical imaging analysis which refers to groups/domains of data that are underrepresented in the training set. For instance, training models on health data acquired from multiple scanners or hospitals can yield subpar performance for minority groups. In this paper, inspired by distributionally robust optimization (DRO) techniques, we address this shortcoming by proposing a group-aware distillation loss. During optimization, a set of weights is updated based on the per-group losses at a given iteration. This way, our method can dynamically focus on groups that have low performance during training. We empirically validate our method, GroupDistil on two benchmark datasets (natural images and cardiac MRIs) and show consistent improvement in terms of worst-group accuracy.
• Abstract（参考訳）: 知識蒸留は、より大きなモデルからより小さなモデルに学習した特徴を高速かつ効果的に伝達することを可能にする。 しかし, 蒸留の目的はサブ人口移動の影響を受けやすいため, 医療画像解析では, トレーニングセットに不足するデータのグループやドメインを参照することが多い。 例えば、複数のスキャナーや病院から取得した健康データに関するトレーニングモデルでは、少数派のグループでサブパーパフォーマンスが得られる。 本稿では,分散ロバストな最適化(DRO)手法に着想を得て,グループ対応蒸留損失を提案する。 最適化中、与えられたイテレーションにおけるグループごとの損失に基づいて、一連の重みが更新される。 この方法では,トレーニング中にパフォーマンスの低いグループに動的に焦点を合わせることができる。 我々は,2つのベンチマークデータセット(自然画像と心臓MRI)上でのGroupDistil法を実証的に検証し,最悪のグループ精度で一貫した改善を示す。

関連論文リスト

• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• Bitrate-Constrained DRO: Beyond Worst Case Robustness To Unknown Group Shifts [122.08782633878788]
  いくつかの堅牢なトレーニングアルゴリズム(例えば、グループDRO)は、グループシフトを専門とし、すべてのトレーニングポイントについてグループ情報を必要とする。 グループアノテーションを必要としない他の方法(CVaR DROなど)は、過度に保守的である。 低機能により実現された単純な群関数の精度を維持するモデルを学習する。
  論文  参考訳（メタデータ） (2023-02-06T17:07:16Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Density-Aware Personalized Training for Risk Prediction in Imbalanced Medical Data [89.79617468457393]
  不均衡率(クラス密度差)のトレーニングモデルは、最適以下の予測につながる可能性がある。 この不均衡問題に対するモデルトレーニングのためのフレームワークを提案する。 実世界の医療データセットにおけるモデルの性能向上を実証する。
  論文  参考訳（メタデータ） (2022-07-23T00:39:53Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。