論文の概要: Med-UniC: Unifying Cross-Lingual Medical Vision-Language Pre-Training by Diminishing Bias

• arxiv url: http://arxiv.org/abs/2305.19894v3
• Date: Sat, 17 Feb 2024 19:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 06:46:49.693261
• Title: Med-UniC: Unifying Cross-Lingual Medical Vision-Language Pre-Training by Diminishing Bias
• Title（参考訳）: Med-UniC: バイアを駆使した言語横断型医療ビジョン学習
• Authors: Zhongwei Wan, Che Liu, Mi Zhang, Jie Fu, Benyou Wang, Sibo Cheng, Lei Ma, C\'esar Quilodr\'an-Casas, Rossella Arcucci
• Abstract要約: Med-UniC (Med-UniC) は、英語とスペイン語のマルチモーダル医療データを統合したものである。 Med-UniCは、5つの医療画像タスクと30以上の疾患を含む10のデータセットで優れたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 38.26934474189853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The scarcity of data presents a critical obstacle to the efficacy of medical visionlanguage pre-training (VLP). A potential solution lies in the combination of datasets from various language communities. Nevertheless, the main challenge stems from the complexity of integrating diverse syntax and semantics, language-specific medical terminology, and culture-specific implicit knowledge. Therefore, one crucial aspect to consider is the presence of community bias caused by different languages. This paper presents a novel framework named Unifying Cross-Lingual Medical Vision-Language Pre-Training (Med-UniC), designed to integrate multimodal medical data from the two most prevalent languages, English and Spanish. Specifically, we propose Cross-lingual Text Alignment Regularization (CTR) to explicitly unify cross-lingual semantic representations of medical reports originating from diverse language communities. CTR is optimized through latent language disentanglement, rendering our optimization objective to not depend on negative samples, thereby significantly mitigating the bias from determining positive-negative sample pairs within analogous medical reports. Furthermore, it ensures that the cross-lingual representation is not biased toward any specific language community. Med-UniC reaches superior performance across 5 medical image tasks and 10 datasets encompassing over 30 diseases, offering a versatile framework for unifying multi-modal medical data within diverse linguistic communities. The experimental outcomes highlight the presence of community bias in cross-lingual VLP. Reducing this bias enhances the performance not only in vision-language tasks but also in uni-modal visual tasks.
• Abstract（参考訳）: データ不足は、医用視覚言語事前訓練(VLP)の有効性にとって重要な障害となる。 潜在的な解決策は、さまざまな言語コミュニティのデータセットの組み合わせにある。 それにもかかわらず、主な課題は、多様な構文と意味論、言語固有の医学用語、文化固有の暗黙の知識を統合する複雑さにある。 したがって、考慮すべき重要な側面は、異なる言語によって引き起こされるコミュニティバイアスの存在である。 本稿では、英語とスペイン語の2言語で広く使われているマルチモーダル医療データを統合するために、Unifying Cross-Lingual Medical Vision-Language Pre-Training(Med-UniC)という新しいフレームワークを提案する。 具体的には、多言語コミュニティに由来する医療報告の言語間セマンティックな表現を明確に統一するために、言語間テキストアライメント規則化(CTR)を提案する。 CTRは潜時言語不整合により最適化され, 最適化対象は陰性標本に依存しないよう最適化され, 類似医療報告における正負サンプル対の決定からバイアスを著しく軽減する。 さらに、言語間の表現が特定の言語コミュニティに偏らないことを保証する。 Med-UniCは、5つの医療画像タスクと30以上の疾患を含む10のデータセットで優れたパフォーマンスを達成し、多様な言語コミュニティ内でマルチモーダル医療データを統一するための汎用的なフレームワークを提供する。 実験結果は、言語間VLPにおけるコミュニティバイアスの存在を強調している。 このバイアスを減らすことで、視覚言語タスクだけでなく、一様視覚タスクでもパフォーマンスが向上する。

関連論文リスト

• Severity Prediction in Mental Health: LLM-based Creation, Analysis, Evaluation of a Novel Multilingual Dataset [3.4146360486107987]
  大規模言語モデル(LLM)は、メンタルヘルス支援システムを含む様々な医療分野に統合されつつある。 本稿では、広く使われているメンタルヘルスデータセットを英語から6言語に翻訳した新しい多言語適応法を提案する。 このデータセットは、精神状態を検出し、複数の言語にわたる重症度を評価する上で、LLMのパフォーマンスを総合的に評価することを可能にする。
  論文  参考訳（メタデータ） (2024-09-25T22:14:34Z)
• C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network [67.97926983664676]
  ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。 C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-10-09T02:31:36Z)
• Combining Contrastive Learning and Knowledge Graph Embeddings to develop medical word embeddings for the Italian language [0.0]
  本論文は,イタリアの医療領域の未発見ニッチへの埋め込みを改良する試みである。 主な目的は、医療用語間の意味的類似性の精度を向上させることである。 イタリア語には医学的な文章や制御された語彙が欠けているため、我々は特定の解決法を開発した。
  論文  参考訳（メタデータ） (2022-11-09T17:12:28Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
  言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。 実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。 本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-07T01:55:34Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Interpretable bias mitigation for textual data: Reducing gender bias in patient notes while maintaining classification performance [0.11545092788508224]
  2つの臨床ノートデータセットから性別付き言語を識別・除去する。 データ拡張による低～中レベルのバイアス除去のための健康状態分類タスクの最小劣化を示す。 本研究は,自然言語処理パイプラインにおけるバイアスを識別・低減するために,データ拡張を用いた解釈可能なアプローチを概説する。
  論文  参考訳（メタデータ） (2021-03-10T03:09:30Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。