論文の概要: KU-DMIS-MSRA at RadSum23: Pre-trained Vision-Language Model for Radiology Report Summarization

• arxiv url: http://arxiv.org/abs/2307.07409v1
• Date: Mon, 10 Jul 2023 21:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-23 12:38:21.784893
• Title: KU-DMIS-MSRA at RadSum23: Pre-trained Vision-Language Model for Radiology Report Summarization
• Title（参考訳）: RadSum23におけるKU-DMIS-MSRA:放射線学レポート要約のための事前訓練型ビジョンランゲージモデル
• Authors: Gangwoo Kim, Hajung Kim, Lei Ji, Seongsu Bae, Chanhwi Kim, Mujeen Sung, Hyunjae Kim, Kun Yan, Eric Chang, Jaewoo Kang
• Abstract要約: CheXOFAは胸部X線領域のための新しい訓練済み視覚言語モデル(VLM)である。 ドメイン固有のタスクを単純なシーケンス・ツー・シーケンススキーマに統合する。 我々のシステムは、隠れテストセットのためのRadSum23のリーダーボードで1位を獲得します。
• 参考スコア（独自算出の注目度）: 29.443550756161667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce CheXOFA, a new pre-trained vision-language model (VLM) for the chest X-ray domain. Our model is initially pre-trained on various multimodal datasets within the general domain before being transferred to the chest X-ray domain. Following a prominent VLM, we unify various domain-specific tasks into a simple sequence-to-sequence schema. It enables the model to effectively learn the required knowledge and skills from limited resources in the domain. Demonstrating superior performance on the benchmark datasets provided by the BioNLP shared task, our model benefits from its training across multiple tasks and domains. With subtle techniques including ensemble and factual calibration, our system achieves first place on the RadSum23 leaderboard for the hidden test set.
• Abstract（参考訳）: 本稿では,胸部X線領域に対する新しい訓練済み視覚言語モデル(VLM)であるCheXOFAを紹介する。 我々のモデルは、まず、胸部X線領域に移る前に、一般領域内の様々なマルチモーダルデータセットで事前訓練される。 顕著なVLMに続いて、ドメイン固有のタスクを単純なシーケンス・ツー・シーケンススキーマに統合する。 これにより、ドメイン内の限られたリソースから必要な知識とスキルを効果的に学習することができる。 BioNLP共有タスクが提供するベンチマークデータセットの優れたパフォーマンスを示すため、モデルは複数のタスクやドメインにわたるトレーニングの恩恵を受けています。 アンサンブルやファクトキャリブレーションなどの微妙な手法により,本システムは隠れテストセットのRadSum23リーダーボードで1位を獲得している。

関連論文リスト

• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• DG-PIC: Domain Generalized Point-In-Context Learning for Point Cloud Understanding [41.49771026674969]
  本稿では,ドメイン一般化ポイントクラウド理解のための統一モデルにおいて,複数のドメインと複数のタスクを扱う,新しい,実用的なマルチドメインマルチタスク設定を提案する。 我々のDG-PICは、テスト中にモデル更新を一切必要とせず、見えないドメインと複数のタスク、例えば、ポイントクラウドの再構築、デノナイズ、登録を1つの統一モデルで処理できる。
  論文  参考訳（メタデータ） (2024-07-11T18:21:40Z)
• NuwaTS: a Foundation Model Mending Every Incomplete Time Series [24.768755438620666]
  textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。 我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T07:59:02Z)
• Quality > Quantity: Synthetic Corpora from Foundation Models for Closed-Domain Extractive Question Answering [35.38140071573828]
  閉領域内での抽出的質問応答について検討し,対象とする事前学習の概念を紹介する。 提案フレームワークはGalacticaを用いて,特定の書体スタイルやトピックに合わせて合成された「ターゲット」コーパスを生成する。
  論文  参考訳（メタデータ） (2023-10-25T20:48:16Z)
• MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
  我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。 我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。 提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T14:44:33Z)
• CLIN-X: pre-trained language models and a study on cross-task transfer for concept extraction in the clinical domain [22.846469609263416]
  事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。 本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。 本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
  論文  参考訳（メタデータ） (2021-12-16T10:07:39Z)
• Boosting Binary Masks for Multi-Domain Learning through Affine Transformations [49.25451497933657]
  マルチドメイン学習の目標は、すべてのドメインでタスクを実行する単一のモデルを作成することです。 最近の研究は、学習されたバイナリ変数を通して、与えられた元のconv-netの内部重みをマスキングすることでこの問題に対処できることを示した。 元のネットワークパラメータのアフィン変換によるマルチドメイン学習のためのバイナリマスクベースのモデルの一般定式化を提供する。
  論文  参考訳（メタデータ） (2021-03-25T14:54:37Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• MultiCQA: Zero-Shot Transfer of Self-Supervised Text Matching Models on a Massive Scale [64.11709427403008]
  テキストマッチングモデルのゼロショット転送能力を大規模に検討し,140個のソースドメイン上での自己教師型トレーニングを行った。 すべての140モデルが驚くほどうまく転送され、ほとんどのモデルが一般的なIRベースラインより大幅に優れています。
  論文  参考訳（メタデータ） (2020-10-02T13:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。