論文の概要: Variational Open-Domain Question Answering
- arxiv url: http://arxiv.org/abs/2210.06345v2
- Date: Wed, 31 May 2023 10:51:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 04:07:50.203644
- Title: Variational Open-Domain Question Answering
- Title(参考訳): 変分オープンドメイン質問応答
- Authors: Valentin Li\'evin, Andreas Geert Motzfeldt, Ida Riis Jensen, Ole
Winther
- Abstract要約: 本稿では、エンドツーエンドのトレーニングと検索強化モデルの評価を行うための変動型オープンドメインフレームワークを提案する。
本研究は,複数選択検診質問に対する読影型BERTサイズのモデルの学習によるVODの汎用性を実証する。
- 参考スコア(独自算出の注目度): 7.7365628406567675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented models have proven to be effective in natural language
processing tasks, yet there remains a lack of research on their optimization
using variational inference. We introduce the Variational Open-Domain (VOD)
framework for end-to-end training and evaluation of retrieval-augmented models,
focusing on open-domain question answering and language modelling. The VOD
objective, a self-normalized estimate of the R\'enyi variational bound,
approximates the task marginal likelihood and is evaluated under samples drawn
from an auxiliary sampling distribution (cached retriever and/or approximate
posterior). It remains tractable, even for retriever distributions defined on
large corpora. We demonstrate VOD's versatility by training reader-retriever
BERT-sized models on multiple-choice medical exam questions. On the MedMCQA
dataset, we outperform the domain-tuned Med-PaLM by +5.3% despite using
2.500$\times$ fewer parameters. Our retrieval-augmented BioLinkBERT model
scored 62.9% on the MedMCQA and 55.0% on the MedQA-USMLE. Last, we show the
effectiveness of our learned retriever component in the context of medical
semantic search.
- Abstract(参考訳): Retrieval-augmented Modelは自然言語処理タスクに有効であることが証明されているが、変分推論を用いた最適化に関する研究はいまだに不足している。
本稿では,検索強化モデルのエンドツーエンドトレーニングと評価を行うための変動型オープンドメイン(VOD)フレームワークについて紹介する。
R'enyi変分境界の自己正規化推定であるVOD目標は、タスク限界確率を近似し、補助サンプリング分布(キャッシュレトリバー及び/または近似後部)から抽出されたサンプルに基づいて評価する。
大型コーパス上で定義されたレトリバー分布に対しても、トラクタブルである。
本研究は,複数選択検診質問に対する読影型BERTサイズのモデルの学習によるVODの汎用性を実証する。
MedMCQAデータセットでは、パラメータが2.500$\times$少ないにもかかわらず、ドメインチューニングされたMed-PaLMを+5.3%上回る。
MedMCQAではBioLinkBERTが62.9%,MedQA-USMLEでは55.0%であった。
最後に,医用セマンティックサーチの文脈において,学習したレトリバーコンポーネントの有効性を示す。
関連論文リスト
- Pushing Boundaries: Exploring Zero Shot Object Classification with Large
Multimodal Models [0.09264362806173355]
LLVA(Large Language and Vision Assistant Model)は、画像ベースのクエリと連動したリッチな会話体験をユーザに提供するモデルである。
本稿では,LMMについて一意に考察し,画像分類タスクの適応性について検討する。
我々の研究では、MNIST、Cats Vs. Dogs、Hymnoptera(Ants Vs. Bees)、Pox Vs. Non-Poxの皮膚画像からなる非伝統的なデータセットの4つの多様なデータセットのベンチマーク分析を含む。
論文 参考訳(メタデータ) (2023-12-30T03:19:54Z) - Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
人為的なデータに基づく微調整言語モデル(LM)が普及している。
我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。
ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
論文 参考訳(メタデータ) (2023-12-11T18:17:43Z) - Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。
実験結果から,本手法は既存手法よりも一貫した改善が得られた。
我々の手法はデータ効率が良く、競争のベースラインより優れています。
論文 参考訳(メタデータ) (2023-11-27T06:19:50Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳(メタデータ) (2023-10-02T09:47:40Z) - AI in the Loop -- Functionalizing Fold Performance Disagreement to
Monitor Automated Medical Image Segmentation Pipelines [0.0]
臨床的実践に機械学習を安全に実装するためには、パフォーマンス予測が不十分なことを自動でフラグする手法が不可欠である。
本稿では、異なるデータセットの折りたたみ部で訓練されたサブモデルを用いて、容易に適用可能な手法を提案する。
論文 参考訳(メタデータ) (2023-05-15T21:35:23Z) - Finding Meaningful Distributions of ML Black-boxes under Forensic
Investigation [25.79728190384834]
ドキュメンテーションの不十分なニューラルネットワークモデルを考えると、モデルのデータドメインを知りたがっている法医学研究者の視点を捉えます。
本稿では、ImageNetなどの包括的コーパスを利用して意味のある分布を選択することで、この問題を解決することを提案する。
私たちのゴールは、与えられたモデルのためにコーパスからサンプルのセットを選択することです。
論文 参考訳(メタデータ) (2023-05-10T03:25:23Z) - Chain-of-Skills: A Configurable Model for Open-domain Question Answering [79.8644260578301]
検索モデルは、現実世界の知識集約的なタスクに欠かせない要素である。
最近の研究はカスタマイズされたメソッドに焦点を合わせ、モデルの転送可能性とスケーラビリティを制限している。
本稿では,各モジュールがデータセット間で再利用可能なキースキルに対応するモジュールレトリバーを提案する。
論文 参考訳(メタデータ) (2023-05-04T20:19:39Z) - ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization [65.58562481279023]
PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。
我々は,多様なアウト・オブ・ディストリビューション(OoD)タスクのための35のモデルからなる多様なモデル動物園において,我々のパラダイムを評価する。
論文 参考訳(メタデータ) (2022-10-17T16:31:57Z) - Approximate Bayesian Computation for an Explicit-Duration Hidden Markov
Model of COVID-19 Hospital Trajectories [55.786207368853084]
新型コロナウイルス(COVID-19)のパンデミックの中、病院の資源をモデル化する問題に取り組んでいます。
幅広い適用性のために、関心のある領域の患者レベルデータが利用できない、一般的なが困難なシナリオに注目します。
本稿では,ACED-HMM(ACED-HMM)と呼ばれる集合数正規化隠れマルコフモデルを提案する。
論文 参考訳(メタデータ) (2021-04-28T15:32:42Z) - End-to-End Training of Neural Retrievers for Open-Domain Question
Answering [32.747113232867825]
ニューラルレトリバーに対して、非監視および監督された方法が最も効果的に使用できるかは不明である。
Inverse Cloze Taskとマスク付きサラエントスパンによる教師なしプリトレーニングのアプローチを提案します。
また,OpenQAモデルにおけるリーダとレシーバコンポーネントのエンドツーエンド教師付きトレーニングのための2つのアプローチについても検討する。
論文 参考訳(メタデータ) (2021-01-02T09:05:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。