論文の概要: Cross-modality debiasing: using language to mitigate sub-population shifts in imaging

• arxiv url: http://arxiv.org/abs/2403.07888v2
• Date: Tue, 2 Apr 2024 14:47:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 08:19:18.754628
• Title: Cross-modality debiasing: using language to mitigate sub-population shifts in imaging
• Title（参考訳）: モダリティ・デバイアス:言語を用いた画像のサブポピュレーションシフトの軽減
• Authors: Yijiang Pang, Bao Hoang, Jiayu Zhou,
• Abstract要約: サブポピュレーションシフトは、アルゴリズムバイアスの重要な源であり、分散ロバスト性を要求する。 近年の研究では、視覚言語モデルCLIPのような多モード基礎モデルに固有の分布ロバスト性が確認されている。 本稿では,画像特徴表現の劣化を抑えるために自然言語入力を活用することを提案する。
• 参考スコア（独自算出の注目度）: 28.88097536026781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sub-population shift is a specific type of domain shift that highlights changes in data distribution within specific sub-groups or populations between training and testing. Sub-population shift accounts for a significant source of algorithmic bias and calls for distributional robustness. Recent studies found inherent distributional robustness in multi-modality foundation models, such as the vision-language model CLIP, yet this robustness is vulnerable through parameter fine-tuning. In this paper, we propose leveraging the connection of robustness among different modalities and reshaping the distributional robustness of one modality with another. Specifically, in the context of the distributional robustness of CLIP, we propose to leverage natural language inputs to debias the image feature representations, to improve worst-case performance on sub-populations. Our extensive empirical studies show that image representations debiased by natural language can achieve significant performance improvement and reduction of performance instability under sub-population shifts.
• Abstract（参考訳）: サブ人口シフト(Sub-population shift)とは、特定のサブグループ内のデータ分布の変化や、トレーニングとテストの間の人口の変化を強調する、特定のタイプのドメインシフトである。 サブポピュレーションシフトは、アルゴリズムバイアスの重要な源であり、分散ロバスト性を要求する。 近年の研究では、視覚言語モデルCLIPのような多モード基礎モデルに固有の分布ロバスト性が確認されているが、パラメータの微調整によってこのロバスト性は脆弱である。 本稿では,異なるモーダル間のロバスト性接続を活用し,一方のモーダルの分布ロバスト性と他方のモーダルの分布ロバスト性を再構成する手法を提案する。 具体的には,CLIPの分布ロバスト性の観点から,画像特徴表現の劣化を抑えるために自然言語入力を活用することを提案する。 本研究では, 自然言語による画像表現の劣化が, サブポピュレーションシフトによる性能向上と性能不安定性の低下をもたらすことを実証した。

関連論文リスト

• An Effective Deployment of Diffusion LM for Data Augmentation in Low-Resource Sentiment Classification [2.0930389307057427]
  感性分類(SC)は、ドメイン固有のコンテキスト、不均衡なラベル分布、少数ショットシナリオなど、低リソースの課題に悩まされることが多い。 我々はDiffusion LMを提案し、強力なラベル関連トークンを再構成することでドメイン内の知識を捕捉し、擬似サンプルを生成する。
  論文  参考訳（メタデータ） (2024-09-05T02:51:28Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Enhancing Robustness of Foundation Model Representations under Provenance-related Distribution Shifts [8.298173603769063]
  分布シフト下における基礎モデルに基づくモデルの安定性について検討する。 我々は,多施設データセットの文脈に現れる分布シフトの形式である,証明によるコンバウンディングに焦点をあてる。 その結果, 基礎モデルでは, コンバウンド・バイ・プロビデンス関係の分布シフトに対して, ある程度の頑健性を示すが, 調整により改善できることがわかった。
  論文  参考訳（メタデータ） (2023-12-09T02:02:45Z)
• Distributionally Robust Optimization and Invariant Representation Learning for Addressing Subgroup Underrepresentation: Mechanisms and Limitations [10.4894578909708]
  サブグループの低表現によって引き起こされる純粋相関は、DNNによって永続できるバイアスの源として注目されている。 本研究は,医用画像分類におけるサブグループ非表現による急激な相関の緩和メカニズムの理解と改善に向けた第一歩である。
  論文  参考訳（メタデータ） (2023-08-12T01:55:58Z)
• Shared Latent Space by Both Languages in Non-Autoregressive Neural Machine Translation [0.0]
  非自己回帰型ニューラルマシン翻訳(NAT)は自己回帰型ニューラルマシン翻訳(AT)と比較して翻訳速度が大幅に向上する 潜在変数モデリングは、この品質ギャップを埋めるための有望なアプローチとして現れています。
  論文  参考訳（メタデータ） (2023-05-02T15:33:09Z)
• Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
  ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。 教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。 本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-06T00:20:19Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。