論文の概要: BERTering RAMS: What and How Much does BERT Already Know About Event Arguments? -- A Study on the RAMS Dataset

• arxiv url: http://arxiv.org/abs/2010.04098v2
• Date: Fri, 9 Oct 2020 19:02:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 11:03:32.242292
• Title: BERTering RAMS: What and How Much does BERT Already Know About Event Arguments? -- A Study on the RAMS Dataset
• Title（参考訳）: BERTering RAMS: BERTはすでにイベント引数についてどのくらい知っているか? --RAMSデータセットに関する研究
• Authors: Varun Gangal, Eduard Hovy
• Abstract要約: BERTのアテンションヘッドは穏やかだが、イベントの引数を見つける能力はトレーニングやドメインの微調整を伴わない。 次に、これらのヘッドの線形結合は、利用可能な全イベント引数検出監視の約11%と推定され、いくつかの役割において性能が向上することが判明した。 我々は,金の引数をランダムに生成した"nonce"ワードに置き換えることで,逆テスト例を生成する手法であるNONCEを提案する。
• 参考スコア（独自算出の注目度）: 14.404787013706501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using the attention map based probing frame-work from (Clark et al., 2019), we observe that, on the RAMS dataset (Ebner et al., 2020), BERT's attention heads have modest but well above-chance ability to spot event arguments sans any training or domain finetuning, vary-ing from a low of 17.77% for Place to a high of 51.61% for Artifact. Next, we find that linear combinations of these heads, estimated with approx 11% of available total event argument detection supervision, can push performance well-higher for some roles - highest two being Victim (68.29% Accuracy) and Artifact(58.82% Accuracy). Furthermore, we investigate how well our methods do for cross-sentence event arguments. We propose a procedure to isolate "best heads" for cross-sentence argument detection separately of those for intra-sentence arguments. The heads thus estimated have superior cross-sentence performance compared to their jointly estimated equivalents, albeit only under the unrealistic assumption that we already know the argument is present in an-other sentence. Lastly, we seek to isolate to what extent our numbers stem from lexical frequency based associations between gold arguments and roles. We propose NONCE, a scheme to create adversarial test examples by replacing gold arguments with randomly generated "nonce" words. We find that learnt linear combinations are robust to NONCE, though individual best heads can be more sensitive.
• Abstract（参考訳）: 注意マップに基づく調査フレームワーク(Clark et al., 2019)を用いて、RAMSデータセット(Ebner et al., 2020)上では、BERTの注目ヘッドは、トレーニングやドメインの微調整を伴わないイベント引数を検出できる、わずかながらはるかに高い精度で、Placeが17.77%、Artifactが51.61%まで変化していることを観察した。 次に、これらの頭部の線形結合は、利用可能な全イベント引数検出監督の約11%と推定され、いくつかの役割においてパフォーマンスを良く押し上げることができる(最高2つは被害者(68.29%の精度)と人工物(58.82%の精度)。 さらに,提案手法がクロス文イベントの議論にどの程度有効かを検討する。 そこで本研究では,文内引数とは別個に,文間引数検出のための「ベストヘッド」を分離する手法を提案する。 このように推定される頭部は、他の文にすでに議論が存在するという非現実的な仮定の下でのみ、共同で推定される等価量よりも優れたクロス文性能を有する。 最後に、金の議論と役割の間の語彙周波数に基づく関係から、我々の数がどのようにして生じるかを明らかにする。 我々は,金の引数をランダムに生成した"nonce"ワードに置き換えることで,逆テスト例を生成する手法であるNONCEを提案する。 学習線形の組み合わせはnonceにロバストであるが、個々のベストヘッドはより敏感である。

関連論文リスト

• Explaining Arguments' Strength: Unveiling the Role of Attacks and Supports (Technical Report) [13.644164255651472]
  関係属性説明(RAE)の新理論を提案する。 RAEは、攻撃の役割に関するきめ細かい洞察を提供し、議論の強さを得るための定量的双極性議論を支援する。 不正検出および大規模言語モデルケーススタディにおけるRAEの応用価値を示す。
  論文  参考訳（メタデータ） (2024-04-22T16:02:48Z)
• CASA: Causality-driven Argument Sufficiency Assessment [79.13496878681309]
  ゼロショット因果関係に基づく議論十分性評価フレームワークであるCASAを提案する。 PSは前提イベントの導入が前提イベントと結論イベントの両方が欠落した場合の結論につながる可能性を測っている。 2つの論理的誤り検出データセットの実験により、CASAは不十分な議論を正確に識別することを示した。
  論文  参考訳（メタデータ） (2024-01-10T16:21:18Z)
• Argue with Me Tersely: Towards Sentence-Level Counter-Argument Generation [62.069374456021016]
  本稿では,文レベル逆問題生成のためのArgTerselyベンチマークを提案する。 また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T06:51:34Z)
• Fooling the Textual Fooler via Randomizing Latent Representations [13.77424820701913]
  敵語レベルの摂動はよく研究され効果的な攻撃戦略である。 本稿では、敵の例を生成する過程を複雑にすることを目的とする、軽量で攻撃に依存しない防御法を提案する。 本稿では,AdvFoolerの対人的単語レベル攻撃に対する最先端のロバスト性を実証的に示す。
  論文  参考訳（メタデータ） (2023-10-02T06:57:25Z)
• Global Constraints with Prompting for Zero-Shot Event Argument Classification [49.84347224233628]
  我々は、アノテーションやタスク固有のトレーニングを使わずに、イベント引数の分類に取り組むよう促すことで、グローバルな制約を利用することを提案する。 事前訓練された言語モデルは、新しいパスをスコアし、最初の予測を行う。 私たちの新しいプロンプトテンプレートは、手作業なしで、すべてのイベントや引数タイプに簡単に適応できます。
  論文  参考訳（メタデータ） (2023-02-09T06:39:29Z)
• RuArg-2022: Argument Mining Evaluation [69.87149207721035]
  本稿は、ロシア語テキストを扱う議論分析システムの最初のコンペティションの主催者の報告である。 新型コロナウイルスの感染拡大に伴う3つの話題について、9,550文(ソーシャルメディア投稿記事)のコーパスを用意した。 両タスクで第一位を獲得したシステムは、BERTアーキテクチャのNLI(Natural Language Inference)変種を使用した。
  論文  参考訳（メタデータ） (2022-06-18T17:13:37Z)
• Towards a Holistic View on Argument Quality Prediction [3.182597245365433]
  議論の決定的な性質は、その強さまたは品質である。 議論の強さを自動推定する作業は存在するが、その範囲は狭い。 多様な領域にわたる議論品質推定の一般化能力,関連する議論マイニング課題との相互作用,および知覚された議論強度に対する感情の影響を評価する。
  論文  参考訳（メタデータ） (2022-05-19T18:44:23Z)
• Reinforcement Learning-based Dialogue Guided Event Extraction to Exploit Argument Relations [70.35379323231241]
  本稿では、イベント引数の関係を明示的に活用することで、イベント抽出のためのより良いアプローチを提案する。 我々は増補学習と漸進学習を用いて、多回反復的なプロセスを通じて複数の引数を抽出する。 実験の結果,提案手法は7つの最先端イベント抽出法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2021-06-23T13:24:39Z)
• Aspect-Controlled Neural Argument Generation [65.91772010586605]
  我々は、与えられたトピック、スタンス、アスペクトの文レベル引数を生成するために、きめ細かいレベルで制御できる引数生成のための言語モデルを訓練する。 評価の結果,我々の生成モデルは高品質なアスペクト特異的な議論を生成できることがわかった。 これらの議論は、データ拡張による姿勢検出モデルの性能向上と、逆問題の生成に使用できる。
  論文  参考訳（メタデータ） (2020-04-30T20:17:22Z)
• Same Side Stance Classification Task: Facilitating Argument Stance Classification by Fine-tuning a BERT Model [8.8896707993459]
  同じサイドスタンス分類タスクは、両方の引数が同じスタンスを共有するかどうかによって分類された引数ペアのデータセットを提供する。 3つのエポックに対して事前学習したBERTモデルを微調整し、各引数の最初の512トークンを使用して、2つの引数が同じスタンスを持つかどうかを予測する。
  論文  参考訳（メタデータ） (2020-04-23T13:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。