論文の概要: Self-Supervised Test-Time Learning for Reading Comprehension

• arxiv url: http://arxiv.org/abs/2103.11263v1
• Date: Sat, 20 Mar 2021 23:24:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:57:14.394484
• Title: Self-Supervised Test-Time Learning for Reading Comprehension
• Title（参考訳）: 読解のための自己教師付きテスト時間学習
• Authors: Pratyay Banerjee, Tejas Gokhale, Chitta Baral
• Abstract要約: 本研究では,テキスト検索三脚を含む大規模人為的データセットの学習を必要とせずに,与えられたコンテキスト(テキストパス)上でテスト時学習(TTL)を実行する手法を提案する。 この方法は、単一のテストコンテキスト上で直接動作し、自己スーパービジョンを使用して、合成された質問応答対のモデルを訓練し、このコンテキストに対して見知らぬ人間による質問に対する回答を推論する。 本手法は,完全教師付き手法と競合する精度を実現し,現在の教師なし手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 25.814648527497628
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent work on unsupervised question answering has shown that models can be trained with procedurally generated question-answer pairs and can achieve performance competitive with supervised methods. In this work, we consider the task of unsupervised reading comprehension and present a method that performs "test-time learning" (TTL) on a given context (text passage), without requiring training on large-scale human-authored datasets containing \textit{context-question-answer} triplets. This method operates directly on a single test context, uses self-supervision to train models on synthetically generated question-answer pairs, and then infers answers to unseen human-authored questions for this context. Our method achieves accuracies competitive with fully supervised methods and significantly outperforms current unsupervised methods. TTL methods with a smaller model are also competitive with the current state-of-the-art in unsupervised reading comprehension.
• Abstract（参考訳）: 教師なし質問応答に関する最近の研究は、モデルが手続き的に生成された質問応答ペアで訓練でき、教師付き手法と競争できることを示した。 本稿では,教師なし読解の課題を考察し,<textit{context-question-answer>三重項を含む大規模人間主導データセットの学習を必要とせず,与えられた文脈(テキストパス)で「テスト時学習」(ttl)を行う手法を提案する。 この方法は、単一のテストコンテキスト上で直接動作し、自己スーパービジョンを使用して、合成された質問応答対のモデルを訓練し、このコンテキストに対して見知らぬ人間による質問に対する回答を推論する。 本手法は,完全教師付き手法と競合する精度を実現し,現在の教師なし手法を著しく上回っている。 より小さなモデルを用いたTTL法は、教師なし読解における現在の最先端技術と競合する。

関連論文リスト

• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Auto-ICL: In-Context Learning without Human Supervision [93.05202223767463]
  本稿では,モデルが問題解決のための例と指示を自律的に生成できる自動文脈学習フレームワークを提案する。 さまざまなモデルやデータセットにわたる実験により、結果は、モデル生成コンテキストが人間の注釈付きコンテキストより優れていることを示している。
  論文  参考訳（メタデータ） (2023-11-15T07:37:28Z)
• Understanding prompt engineering may not require rethinking generalization [56.38207873589642]
  言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。 この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
  論文  参考訳（メタデータ） (2023-10-06T00:52:48Z)
• Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
  そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。 提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-25T12:29:22Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• Semantic Borrowing for Generalized Zero-Shot Learning [0.0]
  一般化ゼロショット学習(gzsl)は最も現実的な問題の一つだが、最も難しい問題の一つでもある。 インスタンスボローイングメソッドとメソッドは、セマンティクスのテストによってある程度この問題を解決します。 本稿では, セマンティックボローイング(Semantic Borrowing)と呼ばれる, CIII の下での整合性メトリック学習による GZSL 法の改良手法を提案する。
  論文  参考訳（メタデータ） (2021-01-30T12:14:28Z)
• Combining Self-Training and Self-Supervised Learning for Unsupervised Disfluency Detection [80.68446022994492]
  本研究では,未ラベルテキストコーパスを扱える教師なし学習パラダイムについて検討する。 我々のモデルは、自己学習の考え方を拡張する半教師あり学習アプローチである、雑音学習(Noisy Student Training)に関する最近の研究に基づいている。
  論文  参考訳（メタデータ） (2020-10-29T05:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。