論文の概要: A Syntax Aware BERT for Identifying Well-Formed Queries in a Curriculum Framework

• arxiv url: http://arxiv.org/abs/2208.09912v1
• Date: Sun, 21 Aug 2022 15:35:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 13:06:23.025669
• Title: A Syntax Aware BERT for Identifying Well-Formed Queries in a Curriculum Framework
• Title（参考訳）: キュリキュラム・フレームワークにおける整形クエリ同定のための構文認識BERT
• Authors: Avinash Madasu and Anvesh Rao Vijjini
• Abstract要約: 本稿では,変換器を用いた言語モデルを提案する。 BERTには、以前の作品からインスパイアされた音声情報が含まれています。 最良のアプローチは83.93%の精度を達成し、過去の最先端よりも優れている。
• 参考スコア（独自算出の注目度）: 1.941730292017383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A well formed query is defined as a query which is formulated in the manner of an inquiry, and with correct interrogatives, spelling and grammar. While identifying well formed queries is an important task, few works have attempted to address it. In this paper we propose transformer based language model - Bidirectional Encoder Representations from Transformers (BERT) to this task. We further imbibe BERT with parts-of-speech information inspired from earlier works. Furthermore, we also train the model in multiple curriculum settings for improvement in performance. Curriculum Learning over the task is experimented with Baby Steps and One Pass techniques. Proposed architecture performs exceedingly well on the task. The best approach achieves accuracy of 83.93%, outperforming previous state-of-the-art at 75.0% and reaching close to the approximate human upper bound of 88.4%.
• Abstract（参考訳）: 精巧なクエリは、問い合わせのやり方で定式化され、正しい質問文、スペル、文法で定義されるクエリとして定義される。 適切に構築されたクエリを特定することは重要なタスクであるが、それに対処しようとする作業はほとんどない。 本稿では,変換器を用いた言語モデルBidirectional Encoder Representations from Transformer (BERT)を提案する。 従来の作品からヒントを得たパート・オブ・音声の情報をBERTに付与する。 さらに,性能向上のために,複数のカリキュラムでモデルをトレーニングする。 タスク上のカリキュラム学習は、ベビーステップとワンパステクニックで実験されます。 提案されたアーキテクチャはそのタスクで非常にうまく機能する。 最良のアプローチは83.93%の精度を達成し、以前の最先端の75.0%を上回り、人間の平均上限88.4%近くに達する。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• The Death of Feature Engineering? BERT with Linguistic Features on SQuAD 2.0 [16.95168095046929]
  BERTと追加の言語的特徴を取り入れたエンドツーエンドの質問応答モデルを開発した。 EMスコアとF1スコアはBERT(base)と比較して2.17と2.14が改善される
  論文  参考訳（メタデータ） (2024-04-04T03:50:34Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Few-shot Learning with Retrieval Augmented Language Models [75.63572749426473]
  大規模な言語モデルは、広範囲のタスクにおいて、印象的な数ショットの結果を示しています。 このような結果に知識が鍵となる場合、知識を格納するための膨大なパラメータ数が必要であると考えられる。 我々はAtlasについて紹介する。Atlasは、慎重に設計され、事前訓練された検索言語モデルで、非常に少ないトレーニング例で知識集約的なタスクを学習することができる。
  論文  参考訳（メタデータ） (2022-08-05T17:39:22Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting [0.6850683267295249]
  フィリングインザブランクタイプの質問を考えると、タスクは5つのオプションのリストから最適な単語を予測することです。 マスク付き言語モデリング(MLM)タスクで事前訓練されたトランスフォーマーベースのモデルのエンコーダを使用して、Fill-in-the-Blank(FitB)モデルを構築します。 本稿では,BERT の入力長制限に対処するため,チャンク投票や Max Context という変種を提案する。
  論文  参考訳（メタデータ） (2021-02-24T12:33:12Z)
• Using Prior Knowledge to Guide BERT's Attention in Semantic Textual Matching Tasks [13.922700041632302]
  深層トランスフォーマーモデル(Bidirectional Representations from Transformers (BERT))に先行知識を組み込む問題について検討する。 BERTがもっとも必要とするタスク固有の知識と、それが最も必要である場所をよりよく理解する。 実験により,提案した知識を付加したBERTが意味的テキストマッチング性能を一貫して改善できることが実証された。
  論文  参考訳（メタデータ） (2021-02-22T12:07:16Z)
• Learning Better Sentence Representation with Syntax Information [0.0]
  構文情報と予め訓練された言語モデルを組み合わせるための新しいアプローチを提案する。 本モデルは91.2%の精度を達成し, 文完成作業では37.8%の精度でベースラインモデルを上回った。
  論文  参考訳（メタデータ） (2021-01-09T12:15:08Z)
• FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity Attention Layer based on BERT [0.5772546394254112]
  本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。 私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
  論文  参考訳（メタデータ） (2020-08-22T08:04:21Z)
• Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection [55.445023584632175]
  我々は,マルチタスク学習とBERTモデルを組み合わせた攻撃的言語検出システムを構築した。 我々のモデルは、英語のサブタスクAで91.51%のF1スコアを獲得し、これは第1位に匹敵する。
  論文  参考訳（メタデータ） (2020-04-28T11:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。