論文の概要: Teaching Machine Comprehension with Compositional Explanations

• arxiv url: http://arxiv.org/abs/2005.00806v3
• Date: Tue, 13 Oct 2020 19:28:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 11:49:19.038444
• Title: Teaching Machine Comprehension with Compositional Explanations
• Title（参考訳）: 構成記述を用いた機械理解教育
• Authors: Qinyuan Ye, Xiao Huang, Elizabeth Boschee, Xiang Ren
• Abstract要約: 我々は,ごく少数の半構造化された説明を用いて,理解を読み取る「教える」機械に焦点をあてる。 学習可能なニューラルモジュールとソフトロジックを使用して言語的変化を処理し、スパースカバレッジを克服します。 SQuADデータセットでは,26の説明から70.14%のF1スコアが得られた。
• 参考スコア（独自算出の注目度）: 32.82449839424392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in machine reading comprehension (MRC) rely heavily on the collection of large scale human-annotated examples in the form of (question, paragraph, answer) triples. In contrast, humans are typically able to generalize with only a few examples, relying on deeper underlying world knowledge, linguistic sophistication, and/or simply superior deductive powers. In this paper, we focus on "teaching" machines reading comprehension, using a small number of semi-structured explanations that explicitly inform machines why answer spans are correct. We extract structured variables and rules from explanations and compose neural module teachers that annotate instances for training downstream MRC models. We use learnable neural modules and soft logic to handle linguistic variation and overcome sparse coverage; the modules are jointly optimized with the MRC model to improve final performance. On the SQuAD dataset, our proposed method achieves 70.14% F1 score with supervision from 26 explanations, comparable to plain supervised learning using 1,100 labeled instances, yielding a 12x speed up.
• Abstract（参考訳）: 機械読解の進歩(mrc)は、(質問、段落、回答)三重項という形で、大規模な人間注釈例の収集に大きく依存している。 対照的に、人間は通常、より深い世界知識、言語的洗練、あるいは単により優れた推論力に依存する少数の例で一般化することができる。 本稿では, 機械に解答スパンが正しい理由を明らかにするために, 少数の半構造化説明を用いて, 理解を読み取る「ティーチング」マシンに焦点をあてる。 説明から構造化変数とルールを抽出し,下流mrcモデルをトレーニングするためのインスタンスをアノテートするニューラルモジュール教師を構成する。 学習可能なニューラルモジュールとソフトロジックを使用して、言語的変動を処理し、スパースカバレッジを克服します。 提案手法は,1,100個のラベル付きインスタンスを用いた教師付き学習に匹敵する26種類の説明から,70.14%のf1スコアを達成し,12倍の高速化を実現している。

関連論文リスト

• Compositional Program Generation for Few-Shot Systematic Generalization [59.57656559816271]
  コンポジションプログラムジェネレータ(CPG)と呼ばれるニューロシンボリックアーキテクチャに関する研究 CPGには3つの重要な特徴がある: 文法規則の形で、テキストモジュラリティ、テキストコンポジション、テキストタストラクションである。 SCAN と COGS のベンチマークでは,SCAN の14例と COGS の22例を使用して,完全な一般化を実現している。
  論文  参考訳（メタデータ） (2023-09-28T14:33:20Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• MaNtLE: Model-agnostic Natural Language Explainer [9.43206883360088]
  モデルに依存しない自然言語説明器であるMaNtLEを導入し、複数の分類器の予測を解析する。 MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。 シミュレーションユーザスタディでは、平均して、MaNtLEの生成した説明は、LIMEやAnchorsの説明に比べて少なくとも11%忠実であることが示されている。
  論文  参考訳（メタデータ） (2023-05-22T12:58:06Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• An Understanding-Oriented Robust Machine Reading Comprehension Model [12.870425062204035]
  本稿では,3種類のロバスト性問題に対処する理解指向機械読解モデルを提案する。 具体的には、入力された質問の正確な意味を理解するために、まず自然言語推論モジュールを使用します。 第3に,一般化の問題に対処する多言語学習機構を提案する。
  論文  参考訳（メタデータ） (2022-07-01T03:32:02Z)
• CLUES: A Benchmark for Learning Classifiers using Natural Language Explanations [12.278877764015725]
  教師付き学習は伝統的に、タスクのラベル付き例を観察して帰納的学習に焦点を合わせてきた。 対照的に、人間は言語から新しい概念を学ぶ能力を持っている。 自然言語のExplainationSを用いた学習のためのベンチマークであるCLUESを紹介する。 CLUESは36の現実世界と144の合成分類タスクで構成されている。
  論文  参考訳（メタデータ） (2022-04-14T17:54:46Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• ExpMRC: Explainability Evaluation for Machine Reading Comprehension [42.483940360860096]
  我々は,機械読解システムの説明可能性を評価するためのExpMRCと呼ばれる新しいベンチマークを提案する。 我々は、最先端の事前訓練言語モデルを用いてベースラインシステムを構築し、人間の注釈のないトレーニングセットなしで証拠を抽出するための様々な教師なしアプローチを採用する。
  論文  参考訳（メタデータ） (2021-05-10T06:00:20Z)
• Towards Interpretable Natural Language Understanding with Explanations as Latent Variables [146.83882632854485]
  そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。 我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
  論文  参考訳（メタデータ） (2020-10-24T02:05:56Z)
• ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
  本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。 ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。 意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
  論文  参考訳（メタデータ） (2020-09-22T01:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。