論文の概要: Clinical Reading Comprehension with Encoder-Decoder Models Enhanced by Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2407.14000v1
• Date: Fri, 19 Jul 2024 03:12:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 18:53:17.679930
• Title: Clinical Reading Comprehension with Encoder-Decoder Models Enhanced by Direct Preference Optimization
• Title（参考訳）: 直接選好最適化によるエンコーダ・デコーダモデルによる臨床読解
• Authors: Md Sultan Al Nahian, Ramakanth Kavuluru,
• Abstract要約: エンコーダ・デコーダモデルと直接選好最適化(DPO)法を組み合わせることで、RadQAラジオグラフィー質問応答タスクの先行状態を12～15F1ポイント改善する。 我々の知る限りでは、DPO法は小説を通して理解を読み取るのにも有効であり、人間の入力を使わずに嗜好データを生成するのに有効であることを示す最初の試みである。
• 参考スコア（独自算出の注目度）: 1.4860485766459153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extractive question answering over clinical text is a crucial need to help deal with the deluge of clinical text generated in hospitals. While encoder models (e.g., BERT) have been popular for this reading comprehension task, recently encoder-decoder models (e.g., T5) are on the rise. There is also the emergence of preference optimization techniques to align decoder-only LLMs with human preferences. In this paper, we combine encoder-decoder models with the direct preference optimization (DPO) method to improve over prior state of the art for the RadQA radiology question answering task by 12-15 F1 points. To the best of our knowledge, this effort is the first to show that DPO method also works for reading comprehension via novel heuristics to generate preference data without human inputs.
• Abstract（参考訳）: 臨床テキストに対する抽出的回答は、病院で発生する臨床テキストの希薄化に対処するための重要なニーズである。 エンコーダモデル(例:BERT)はこの読解タスクで人気があるが、最近はエンコーダ-デコーダモデル(例:T5)が増えている。 また、デコーダのみのLLMを人間の好みに合わせるための選好最適化手法が出現した。 本稿では,エンコーダ・デコーダモデルと直接選好最適化(DPO)手法を組み合わせることにより,RadQAラジオグラフィ質問応答タスクの先行技術よりも12～15F1ポイント向上する。 我々の知る限り、DPO法は人間の入力を使わずに好みデータを生成する新しいヒューリスティックスを通して理解を読み取るのにも有効であることを示す最初の試みである。

関連論文リスト

• DSTC: Direct Preference Learning with Only Self-Generated Tests and Code to Improve Code LMs [56.24431208419858]
  UnderlinetextbfDirect Preference Learning with only underlinetextbfSelf-Generated underlinetextbfTests and underlinetextbfCode (DSTC)を紹介する。 DSTCは自己生成コードスニペットとテストのみを使用して信頼性の高い選好ペアを構築する。
  論文  参考訳（メタデータ） (2024-11-20T02:03:16Z)
• TG-LLaVA: Text Guided LLaVA via Learnable Latent Embeddings [61.9257731511557]
  視覚言語モデル(VLM)を最適化するためのテキストガイド付きLLaVA(TG-LLaVA)を提案する。 学習可能な潜伏埋め込みをブリッジとして使用し、テキスト命令を分析し、視覚エンコーダに解析結果をガイダンスとして付加する。 テキストのガイダンスによって、視覚エンコーダは、人間が質問を考えるとき、画像の最も関連性の高い部分に集中する方法と同様に、テキスト関連の特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-09-15T00:38:34Z)
• On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation [76.52997424694767]
  本研究では、キーフレーズ生成(KPG)におけるエンコーダのみの事前学習言語モデル(PLM)の適用について述べる。 エンコーダのみの PLM では、条件付きランダムフィールドを持つ KPE は、現在のキーフレーズの同定においてわずかに優れているが、KPG の定式化はキーフレーズの予測の幅広いスペクトルを表現している。 また,エンコーダのみの PLM を用いたエンコーダデコーダアーキテクチャを用いる場合,幅よりもモデル深度に対するパラメータ割り当てが望ましいことを示す。
  論文  参考訳（メタデータ） (2024-02-21T18:57:54Z)
• Bidirectional Captioning for Clinically Accurate and Interpretable Models [4.355562946859011]
  視覚言語事前学習は、下流コンピュータビジョンタスクに効率的に転送する高品質な視覚エンコーダを生成することが示されている。 本稿では,放射線学レポートの双方向キャプションを事前学習の一形態として実験し,学習した埋め込みの質と有用性を比較検討した。 以上の結果から, コントラスト前訓練と競合する前訓練型視覚エンコーダ(CheXpert competition multi-label AUC 89.4%)の字幕化は, 臨床的に有意な報告が得られた。
  論文  参考訳（メタデータ） (2023-10-30T15:25:29Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Variational Autoencoders for Studying the Manifold of Precoding Matrices with High Spectral Efficiency [47.187609203210705]
  スペクトル効率(SE)の高い事前符号化行列を見つけるために、変分オートエンコーダを用いる方法を検討する。 私たちの目標は、最小品質の劣化を伴う、より時間を要するアルゴリズムを作ることです。
  論文  参考訳（メタデータ） (2021-11-23T11:45:45Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
  変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。 復号分布の不確かさを学習する校正復号器の影響について検討する。 本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
  論文  参考訳（メタデータ） (2020-06-23T17:57:47Z)
• Regularized Forward-Backward Decoder for Attention Models [5.257115841810258]
  トレーニング期間中に第2復号器を組み込んだ新たな正規化手法を提案する。 このデコーダは、事前に時間反転ターゲットラベルに最適化されており、将来の文脈から知識を追加することで、トレーニング中に標準デコーダをサポートする。 より小さなTEDLiumv2とより大きなLibriSpeechデータセットに対する我々のアプローチを評価し、両者で一貫した改善を実現した。
  論文  参考訳（メタデータ） (2020-06-15T16:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。