論文の概要: Learning with Instance Bundles for Reading Comprehension

• arxiv url: http://arxiv.org/abs/2104.08735v1
• Date: Sun, 18 Apr 2021 06:17:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:08:28.711403
• Title: Learning with Instance Bundles for Reading Comprehension
• Title（参考訳）: 読み書きのためのインスタンスバンドルによる学習
• Authors: Dheeru Dua, Pradeep Dasigi, Sameer Singh, Matt Gardner
• Abstract要約: 質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。 具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。 2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
• 参考スコア（独自算出の注目度）: 61.823444215188296
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When training most modern reading comprehension models, all the questions associated with a context are treated as being independent from each other. However, closely related questions and their corresponding answers are not independent, and leveraging these relationships could provide a strong supervision signal to a model. Drawing on ideas from contrastive estimation, we introduce several new supervision techniques that compare question-answer scores across multiple related instances. Specifically, we normalize these scores across various neighborhoods of closely contrasting questions and/or answers, adding another cross entropy loss term that is used in addition to traditional maximum likelihood estimation. Our techniques require bundles of related question-answer pairs, which we can either mine from within existing data or create using various automated heuristics. We empirically demonstrate the effectiveness of training with instance bundles on two datasets -- HotpotQA and ROPES -- showing up to 11% absolute gains in accuracy.
• Abstract（参考訳）: 現代の読解モデルを訓練する場合、文脈に関連するすべての質問は互いに独立したものとして扱われる。 しかし、密接な関係のある質問とその答えは独立ではなく、これらの関係を利用してモデルに強い監督信号を与えることができる。 コントラスト推定からのアイデアを参考に,複数の関連インスタンス間で質問応答スコアを比較する新しい監督手法をいくつか紹介する。 具体的には、これらのスコアを、厳密な比較質問や回答の様々な近傍にまたがって正規化し、従来の最大確率推定に加えて、別のクロスエントロピー損失項を追加する。 既存のデータから抽出するか、あるいは様々な自動ヒューリスティックを使って生成することができる。 2つのデータセット - ホットポタカとロープ - のインスタンスバンドルによるトレーニングの効果を実証的に実証し、精度の絶対値が11%に達することを示した。

関連論文リスト

• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and Beyond [93.96982273042296]
  視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンのモデルによる理解を評価する。 我々は、モデルが様々なVLタスクを適切に理解することなく正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。 本稿では,ADS(Adversarial Data Synthesis)を用いて,合成学習データと偏り評価データを生成する。 次に、サンプル内微分に着目して、合成したトレーニングデータ、特に対物データを利用するモデルを支援するために、サンプル内対物訓練(ICT)を導入する。
  論文  参考訳（メタデータ） (2023-10-23T08:09:42Z)
• Selective Inference for Sparse Multitask Regression with Applications in Neuroimaging [2.611153304251067]
  本稿では、ニューロイメージングにおける一般的なマルチタスク問題に対処するための選択推論フレームワークを提案する。 我々のフレームワークは、選択イベントの洗練に基づいて、新しい推論条件を提供する。 我々は,選択推論を用いたマルチタスク学習により,単一タスク法よりも真の信号をより正確に復元できることをシミュレーションにより示す。
  論文  参考訳（メタデータ） (2022-05-27T20:21:20Z)
• Attention-based model for predicting question relatedness on Stack Overflow [0.0]
  Stack Overflowにおける質問間の関連性を自動的に予測するアテンションベースの文対相互作用モデル(ASIM)を提案する。 ASIMは、Precision、Recall、Micro-F1評価メトリクスのベースラインアプローチを大幅に改善しました。 私たちのモデルは、Ask Ubuntuの重複質問検出タスクでもうまく機能します。
  論文  参考訳（メタデータ） (2021-03-19T12:18:03Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。