Fugu-MT 論文翻訳(概要): Semantic Answer Type Prediction using BERT: IAI at the ISWC SMART Task 2020

論文の概要: Semantic Answer Type Prediction using BERT: IAI at the ISWC SMART Task 2020

arxiv url: http://arxiv.org/abs/2109.06714v1
Date: Tue, 14 Sep 2021 14:27:49 GMT
ステータス: 処理完了
システム内更新日: 2021-09-15 21:03:02.958640
Title: Semantic Answer Type Prediction using BERT: IAI at the ISWC SMART Task 2020
Title（参考訳）: ISWC SMART Task 2020におけるBERT: IAIを用いた意味解答型予測
Authors: Vinay Setty and Krisztian Balog
Abstract要約: 本稿では,ISWC 2020 ChallengeのSMARTタスクへの参加について要約する。私たちが特に関心を持っている質問は、ニューラルメソッド、特にBERTのようなトランスフォーマーモデルが、回答型予測タスクでどのように機能するかである。我々の主な発見は、粗い答え型を95%以上の精度で標準テキスト分類法で効果的に識別できることであり、BERTは限界的な改善しかたらさないことである。
参考スコア（独自算出の注目度）: 24.56986827023303
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper summarizes our participation in the SMART Task of the ISWC 2020 Challenge. A particular question we are interested in answering is how well neural methods, and specifically transformer models, such as BERT, perform on the answer type prediction task compared to traditional approaches. Our main finding is that coarse-grained answer types can be identified effectively with standard text classification methods, with over 95% accuracy, and BERT can bring only marginal improvements. For fine-grained type detection, on the other hand, BERT clearly outperforms previous retrieval-based approaches.
Abstract（参考訳）: 本稿では,ISWC 2020 ChallengeのSMARTタスクへの参加について要約する。私たちが答えることに興味を持っている特に疑問は、ニューラルメソッド、特にBERTのようなトランスフォーマーモデルが、従来のアプローチと比較して解型予測タスクでどの程度うまく機能するかである。我々の主な発見は、粗い答え型を95%以上の精度で標準テキスト分類法で効果的に識別できることであり、BERTは限界的な改善しかたらさないことである。一方、詳細な型検出では、BERTは従来の検索ベースアプローチよりも明らかに優れている。

関連論文リスト

Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
論文参考訳（メタデータ） (2023-10-07T07:53:12Z)
DPBERT: Efficient Inference for BERT based on Dynamic Planning [11.680840266488884]
既存の入力適応推論手法ではBERTの構造を十分に活用できない。本稿では,BERTの推論過程を高速化する新しい微調整戦略であるBERTにおける動的計画法を提案する。提案手法は,98%の精度を維持しながら遅延を75%まで低減し,最先端の入力適応方式に比べて高精度なトレードオフを実現する。
論文参考訳（メタデータ） (2023-07-26T07:18:50Z)
On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文参考訳（メタデータ） (2023-06-06T09:35:29Z)
SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文参考訳（メタデータ） (2022-03-14T04:26:40Z)
BERTVision -- A Parameter-Efficient Approach for Question Answering [0.0]
本稿では,BERTファインチューニングの必要性を大幅に低減する,質問応答に対するパラメータ効率の高い手法を提案する。提案手法では,各BERTトランス層の隠れ状態アクティベーションから得られる情報を用いて,典型的なBERT推論時に破棄される。実験の結果,本手法は多岐にわたるQAだけでなく,分類にも有効であり,より広い範囲のタスクに向いていることが示唆された。
論文参考訳（メタデータ） (2022-02-24T17:16:25Z)
Finding the Winning Ticket of BERT for Binary Text Classification via Adaptive Layer Truncation before Fine-tuning [7.797987384189306]
BERTをベースとしたモデルのサイズの異なるモデルを構築し、それらの予測を8つのバイナリ分類タスクで比較する。結果は、完全なモデルよりもパフォーマンスが良い小さなサブネットワークが存在することを示している。
論文参考訳（メタデータ） (2021-11-22T02:22:47Z)
MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
大規模事前学習は計算コストが高い。事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。本稿では,MC-BERTというメタラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2020-06-10T09:22:19Z)
Yseop at SemEval-2020 Task 5: Cascaded BERT Language Model for Counterfactual Statement Analysis [0.0]
我々は、分類タスクにBERTベースモデルを使用し、シーケンス識別タスクを処理するために、ハイブリッドBERTマルチ層パーセプトロンシステムを構築した。本実験により, 構文的・意味的特徴の導入は, 分類タスクにおけるシステム改善にはほとんど寄与しないが, それらの特徴を線形入力として用いて, モデルのシーケンス決定能力を微調整することにより, 2次タスクにおいてBiLSTM-CRFのような他の類似の複雑なシステムよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-18T08:19:18Z)
Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文参考訳（メタデータ） (2020-04-29T10:54:40Z)
BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
論文参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。