論文の概要: Simple and Efficient ways to Improve REALM
- arxiv url: http://arxiv.org/abs/2104.08710v1
- Date: Sun, 18 Apr 2021 04:32:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:09:58.987923
- Title: Simple and Efficient ways to Improve REALM
- Title(参考訳): REALMを改善するためのシンプルで効率的な方法
- Authors: Vidhisha Balachandran, Ashish Vaswani, Yulia Tsvetkov, Niki Parmar
- Abstract要約: REALM(Guu et al., 2020)は、下流QA効率を改善するための事前トレーニングに依存するエンドツーエンドの高密度検索システムです。
Denseは、人気のあるスパース検索手法を超越して、Open Domain QAの関連文書の検索に有効であることが示されている。
- 参考スコア(独自算出の注目度): 24.182528719468227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dense retrieval has been shown to be effective for retrieving relevant
documents for Open Domain QA, surpassing popular sparse retrieval methods like
BM25. REALM (Guu et al., 2020) is an end-to-end dense retrieval system that
relies on MLM based pretraining for improved downstream QA efficiency across
multiple datasets. We study the finetuning of REALM on various QA tasks and
explore the limits of various hyperparameter and supervision choices. We find
that REALM was significantly undertrained when finetuning and simple
improvements in the training, supervision, and inference setups can
significantly benefit QA results and exceed the performance of other models
published post it. Our best model, REALM++, incorporates all the best working
findings and achieves significant QA accuracy improvements over baselines
(~5.5% absolute accuracy) without any model design changes. Additionally,
REALM++ matches the performance of large Open Domain QA models which have 3x
more parameters demonstrating the efficiency of the setup.
- Abstract(参考訳): ダンス検索は, BM25のようなスパース検索手法を超越して, オープンドメインQAの関連文書の検索に有効であることが示されている。
REALM (Guu et al., 2020) は、MLMに基づく事前学習に依存し、複数のデータセットにわたる下流QA効率を改善する。
各種QAタスクにおけるREALMの微調整について検討し、様々なハイパーパラメータと監督選択の限界について検討する。
その結果,REALMはトレーニング,監督,推論の簡易な改良により,QA結果に有意な利益をもたらし,他のモデルの性能を上回った。
私たちの最高のモデルであるREALM++は、すべての最高の動作結果を導入し、モデル設計の変更なしにベースライン(約5.5%の絶対精度)よりも大幅にQA精度の向上を実現しています。
さらにREALM++は、セットアップの効率を示す3倍のパラメータを持つ大規模なOpen Domain QAモデルのパフォーマンスと一致します。
関連論文リスト
- Masked Thought: Simply Masking Partial Reasoning Steps Can Improve
Mathematical Reasoning Learning of Language Models [106.59263704052206]
推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。
入力の摂動に代えて,外部リソースを回避する手法を開発した。
私たちのトレーニングアプローチは、思考の連鎖内の特定のトークンをランダムに隠蔽します。
論文 参考訳(メタデータ) (2024-03-04T16:21:54Z) - MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot
Question Answering [68.52980461474752]
オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。
我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。
次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。
同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
論文 参考訳(メタデータ) (2023-10-08T04:44:36Z) - CATfOOD: Counterfactual Augmented Training for Improving Out-of-Domain
Performance and Calibration [59.48235003469116]
データの増大はOOD性能を継続的に向上させることを示す。
また, CF拡張モデルのキャリブレーションが容易な場合, 重要度を割り当てる場合, エントロピーがはるかに低いことを示す。
論文 参考訳(メタデータ) (2023-09-14T16:16:40Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data
Selection for Instruction Tuning [54.222609226692015]
我々は大規模言語モデルのための自己誘導手法を導入し、大規模なオープンソースデータセットからサクラサンプルを自律的に識別し、選択する。
私たちの重要なイノベーションであるIFD(Instruction-Following Difficulty)メトリックは、モデルが期待する応答と自動生成技術との間の相違を識別するための重要なツールとして現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Improved and Efficient Conversational Slot Labeling through Question
Answering [48.670822631047635]
Transformer-based Pretrained Language Model (PLM) は、自然言語理解(NLU)タスクの大部分に適合しないパフォーマンスを提供する。
本稿では,対話のためのNLUの重要なコンポーネントであるテキストスロットラベリング(SL)のモデリングと研究に焦点をあてる。
本稿では,QA調整型PLMをSLタスクに適用し,新しい最先端性能を実現する方法を示す。
論文 参考訳(メタデータ) (2022-04-05T11:34:35Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-01-27T21:38:53Z) - A Unified Framework for Task-Driven Data Quality Management [10.092524512413831]
高性能なデータは、高性能機械学習(ML)モデルのトレーニングに不可欠である。
既存のデータ品質管理スキームは、MLのパフォーマンスを十分に改善することはできない。
本稿では,タスク駆動型モデルに依存しないDQMフレームワークDataSifterを提案する。
論文 参考訳(メタデータ) (2021-06-10T03:56:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。