論文の概要: Enhancing Robustness of Foundation Model Representations under Provenance-related Distribution Shifts

• arxiv url: http://arxiv.org/abs/2312.05435v1
• Date: Sat, 9 Dec 2023 02:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 20:44:37.055202
• Title: Enhancing Robustness of Foundation Model Representations under Provenance-related Distribution Shifts
• Title（参考訳）: プロヴァンス関連分布シフト下における基礎モデル表現のロバスト性向上
• Authors: Xiruo Ding, Zhecheng Sheng, Brian Hur, Feng Chen, Serguei V. S. Pakhomov, Trevor Cohen
• Abstract要約: 分布シフト下における基礎モデルに基づくモデルの安定性について検討する。 我々は,多施設データセットの文脈に現れる分布シフトの形式である,証明によるコンバウンディングに焦点をあてる。 その結果, 基礎モデルでは, コンバウンド・バイ・プロビデンス関係の分布シフトに対して, ある程度の頑健性を示すが, 調整により改善できることがわかった。
• 参考スコア（独自算出の注目度）: 8.298173603769063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models are a current focus of attention in both industry and academia. While they have shown their capabilities in a variety of tasks, in-depth research is required to determine their robustness to distribution shift when used as a basis for supervised machine learning. This is especially important in the context of clinical data, with particular limitations related to data accessibility, lack of pretraining materials, and limited availability of high-quality annotations. In this work, we examine the stability of models based on representations from foundation models under distribution shift. We focus on confounding by provenance, a form of distribution shift that emerges in the context of multi-institutional datasets when there are differences in source-specific language use and class distributions. Using a sampling strategy that synthetically induces varying degrees of distribution shift, we evaluate the extent to which representations from foundation models result in predictions that are inherently robust to confounding by provenance. Additionally, we examine the effectiveness of a straightforward confounding adjustment method inspired by Pearl's conception of backdoor adjustment. Results indicate that while foundation models do show some out-of-the-box robustness to confounding-by-provenance related distribution shifts, this can be considerably improved through adjustment. These findings suggest a need for deliberate adjustment of predictive models using representations from foundation models in the context of source-specific distributional differences.
• Abstract（参考訳）: 基礎モデルは現在、産業と学界の両方で注目されている。 彼らは様々なタスクでその能力を示したが、教師付き機械学習の基礎として使用する場合、分散シフトに対する堅牢性を決定するために詳細な研究が必要である。 これは臨床データの文脈において特に重要であり、特にデータアクセシビリティ、事前学習素材の欠如、高品質なアノテーションの可用性に制限がある。 本研究では,分布シフト下における基礎モデルからの表現に基づくモデルの安定性について検討する。 我々は,ソース固有の言語使用とクラス分布の違いがある場合,複数機関のデータセットの文脈に現れる分布シフトの形式であるprofanceによるコンバウンディングに焦点をあてる。 分布変化の程度を合成的に誘導するサンプリング戦略を用いて,基礎モデルからの表現が生成物による結合に本質的に頑健な予測を生じさせる程度を評価する。 さらに,Pearlのバックドア調整の概念にインスパイアされた簡易なコンファウンディング調整手法の有効性について検討した。 以上の結果から, 基盤モデルでは, 供給単位の分散シフトに対する頑健性が示されたが, 調整により大幅に改善される可能性が示唆された。 これらの結果から,ソース固有分布差の文脈における基礎モデルからの表現を用いた予測モデルの意図的な調整の必要性が示唆された。

関連論文リスト

• Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications [0.0]
  本研究では,合成データを用いたモデル適応と一般化について検討する。 我々は、データ類似性を評価するために、Kullback-Leiblerの発散、Jensen-Shannon距離、Mahalanobis距離などの量的尺度を用いる。 本研究は,マハラノビス距離などの統計指標を用いて,モデル予測が低誤差の「補間体制」内にあるか,あるいは高誤差の「補間体制」が分布変化とモデル不確実性を評価するための補完的手法を提供することを示唆している。
  論文  参考訳（メタデータ） (2024-05-03T10:05:31Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Cross-modality debiasing: using language to mitigate sub-population shifts in imaging [28.88097536026781]
  サブポピュレーションシフトは、アルゴリズムバイアスの重要な源であり、分散ロバスト性を要求する。 近年の研究では、視覚言語モデルCLIPのような多モード基礎モデルに固有の分布ロバスト性が確認されている。 本稿では,画像特徴表現の劣化を抑えるために自然言語入力を活用することを提案する。
  論文  参考訳（メタデータ） (2024-02-02T18:54:48Z)
• On the Out of Distribution Robustness of Foundation Models in Medical Image Segmentation [47.95611203419802]
  視覚と言語の基礎は、様々な自然画像とテキストデータに基づいて事前訓練されており、有望なアプローチとして現れている。 一般化性能を,同じ分布データセット上で微調整した後,事前学習した各種モデルの未確認領域と比較した。 さらに,凍結モデルに対する新しいベイズ不確実性推定法を開発し,分布外データに基づくモデルの性能評価指標として利用した。
  論文  参考訳（メタデータ） (2023-11-18T14:52:10Z)
• Context matters for fairness -- a case study on the effect of spatial distribution shifts [10.351739012146378]
  本稿では,新たに発表された米国国勢調査データセットのケーススタディについて述べる。 空間分布の変化がモデルの性能および公平性にどのように影響するかを示す。 我々の研究は、別の文脈にモデルをデプロイする前に、分散シフトに対する堅牢性が必要であることを示唆している。
  論文  参考訳（メタデータ） (2022-06-23T01:09:46Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。