論文の概要: Orthogonal Attention: A Cloze-Style Approach to Negation Scope Resolution

• arxiv url: http://arxiv.org/abs/2103.04294v1
• Date: Sun, 7 Mar 2021 08:10:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 16:01:32.859589
• Title: Orthogonal Attention: A Cloze-Style Approach to Negation Scope Resolution
• Title（参考訳）: 直交注意:クローズスタイルアプローチによる否定スコープの解決
• Authors: Aditya Khandelwal and Vahida Attar
• Abstract要約: Negation Scope Resolution を Cloze-Style タスクとして、文を Context として、cue ワードを Query として見ます。 また, 自己注意に触発された直交注意と呼ばれる新しいクロゼスタイルの注意機構も導入する。 XLNetのバックボーンの上にこれらの直交アテンション層を使用することで、微調整されたXLNet最先端のネゲーションスコープリゾリューションを上回ります。
• 参考スコア（独自算出の注目度）: 14.951697210621683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Negation Scope Resolution is an extensively researched problem, which is used to locate the words affected by a negation cue in a sentence. Recent works have shown that simply finetuning transformer-based architectures yield state-of-the-art results on this task. In this work, we look at Negation Scope Resolution as a Cloze-Style task, with the sentence as the Context and the cue words as the Query. We also introduce a novel Cloze-Style Attention mechanism called Orthogonal Attention, which is inspired by Self Attention. First, we propose a framework for developing Orthogonal Attention variants, and then propose 4 Orthogonal Attention variants: OA-C, OA-CA, OA-EM, and OA-EMB. Using these Orthogonal Attention layers on top of an XLNet backbone, we outperform the finetuned XLNet state-of-the-art for Negation Scope Resolution, achieving the best results to date on all 4 datasets we experiment with: BioScope Abstracts, BioScope Full Papers, SFU Review Corpus and the *sem 2012 Dataset (Sherlock).
• Abstract（参考訳）: Negation Scope Resolutionは広く研究されている問題であり、ネゲーションキューの影響を受ける単語を文に見つけるために使用されます。 最近の研究では、トランスフォーマーベースのアーキテクチャの微調整が、このタスクに最先端の結果をもたらすことが示されている。 本研究では,文を文脈として,手がかり語をクエリとして,否定スコープの解決をクローズ的なタスクとして捉えた。 また, 自己注意に触発された直交注意と呼ばれる新しいクロゼスタイルの注意機構も導入する。 まず, オーソゴナル・アテンション・バリアントを開発するためのフレームワークを提案し, OA-C, OA-CA, OA-EM, OA-EMBの4種類のオーソゴナル・アテンテンション・バリアントを提案する。 XLNetのバックボーンの上にこれらの直交アテンションレイヤーを使用して、我々は、私たちが実験するすべてのデータセットで今まで最高の結果を達成し、微調整XLNet最先端のネゲーションスコープ解像度を上回ります:BioScope Abstracts、BioScope Full Papers、SFU Review Corpus、および*sem 2012 Dataset(Sherlock)。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• A Bayesian Approach to OOD Robustness in Image Classification [20.104489420303306]
  対象分類のためのOODロバストネスに対する新しいベイズ的アプローチを導入する。 我々は、CompNetsがvon Mises-Fisher(vMF)カーネルで表される特徴ベクトル上に定義された生成ヘッドを含んでいるという事実を活用する。 これにより、ソースとターゲットドメインの中間に位置するvMFカーネルの遷移辞書を学習することができる。
  論文  参考訳（メタデータ） (2024-03-12T03:15:08Z)
• Cross-Dataset Adaptation for Instrument Classification in Cataract Surgery Videos [54.1843419649895]
  特定のデータセットでこのタスクをうまく実行する最先端モデルでは、別のデータセットでテストすると、パフォーマンスが低下する。 本稿では,Barlow Adaptorと呼ばれる新しいエンドツーエンドのUnsupervised Domain Adaptation (UDA)手法を提案する。 さらに,BFAL(Barlow Feature Alignment Loss)と呼ばれる,異なるドメインにまたがる特徴を整列させる新たな損失を導入する。
  論文  参考訳（メタデータ） (2023-07-31T18:14:18Z)
• Subsidiary Prototype Alignment for Universal Domain Adaptation [58.431124236254]
  Universal Domain Adaptation (UniDA)の大きな問題は、"known"クラスと"unknown"クラスの誤調整である。 ゴールタスクUniDAと協調して動作するクローズドセットSPAを実現するために,新しい単語ヒストグラム関連プレテキストタスクを提案する。 既存のUniDA技術上でのアプローチの有効性を実証し,3つの標準UniDAおよびOpen-Set DAオブジェクト認識ベンチマークの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-10-28T05:32:14Z)
• Affinity Attention Graph Neural Network for Weakly Supervised Semantic Segmentation [86.44301443789763]
  弱教師付きセマンティックセグメンテーションのための親和性注意グラフニューラルネットワーク(A2$GNN)を提案する。 提案手法は,Pascal VOC 2012データセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-06-08T02:19:21Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• Revealing the Myth of Higher-Order Inference in Coreference Resolution [20.548299226366193]
  本稿では,高次推論(HOI)がコア参照解決の課題に与える影響を解析する。 エンドツーエンドのコアシステムと4つのHOIアプローチ、先行するエンティティ、クラスタリング、クラスタマージを実装しています。 SpanBERTのような高性能エンコーダを使用すれば,HOIの影響は負である。
  論文  参考訳（メタデータ） (2020-09-25T03:28:07Z)
• Acoustic Scene Classification with Squeeze-Excitation Residual Networks [4.591851728010269]
  残差学習に基づくCNNベースのASCフレームワークの精度を向上させるために,2つの新しい圧縮励起ブロックを提案する。 このような演算子を実装したブロックの振舞いは、ブロックへの入力に応じてニューラルネットワーク全体を変更することができる。
  論文  参考訳（メタデータ） (2020-03-20T14:07:11Z)
• On the Arbitrary-Oriented Object Detection: Classification based Approaches Revisited [94.5455251250471]
  まず,既存の回帰型回転検出器が抱える境界問題は,角周期性や角秩序によって引き起こされることを示した。 我々は、角予測タスクを回帰問題から分類問題に変換する。 得られた円形分布角分類問題に対して、まず、角度の周期性に対処し、隣り合う角度に対する誤差耐性を高めるために、円スムースラベル法を考案する。
  論文  参考訳（メタデータ） (2020-03-12T03:23:54Z)
• Resolving the Scope of Speculation and Negation using Transformer-Based Architectures [23.414905586808874]
  推測は、テキストデータに自然に発生する現象であり、多くのシステムの不可欠な構成要素を形成する。 本稿では,この課題に対して,BERT,XLNet,RoBERTaの3つの人気トランスフォーマベースアーキテクチャを適用した。 従来報告されていたキュー検出とスコープ分解能の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-01-09T08:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。