Fugu-MT 論文翻訳(概要): On Commonsense Cues in BERT for Solving Commonsense Tasks

論文の概要: On Commonsense Cues in BERT for Solving Commonsense Tasks

arxiv url: http://arxiv.org/abs/2008.03945v3
Date: Tue, 15 Jun 2021 07:07:25 GMT
ステータス: 処理完了
システム内更新日: 2022-10-31 22:46:07.364591
Title: On Commonsense Cues in BERT for Solving Commonsense Tasks
Title（参考訳）: コモンセンス課題解決のためのBERTのコモンセンスキューについて
Authors: Leyang Cui, Sijie Cheng, Yu Wu, Yue Zhang
Abstract要約: BERTはCommonsenseQAなどのCommonsenseタスクの解決に使用されている。本研究では,BERTにおけるコモンセンスタスクの解決における構造的コモンセンスキューの存在と,モデル予測におけるそのようなキューの重要性を定量的に検討する。
参考スコア（独自算出の注目度）: 22.57431778325224
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: BERT has been used for solving commonsense tasks such as CommonsenseQA. While prior research has found that BERT does contain commonsense information to some extent, there has been work showing that pre-trained models can rely on spurious associations (e.g., data bias) rather than key cues in solving sentiment classification and other problems. We quantitatively investigate the presence of structural commonsense cues in BERT when solving commonsense tasks, and the importance of such cues for the model prediction. Using two different measures, we find that BERT does use relevant knowledge for solving the task, and the presence of commonsense knowledge is positively correlated to the model accuracy.
Abstract（参考訳）: BERTはCommonsenseQAなどのCommonsenseタスクの解決に使用されている。以前の研究では、bertはある程度常識的な情報を含んでいることが判明しているが、事前訓練されたモデルは感情分類やその他の問題を解決する上で重要な手がかりではなく、スプリアスな関連(例えばデータバイアス)に頼ることができることが示されている。 BERTにおけるコモンセンスタスクの解決における構造的コモンセンスキューの存在と,モデル予測におけるそのようなキューの重要性を定量的に検討する。 2つの異なる尺度を用いて, bert は関連する知識をタスクの解法に用い, 常識知識の存在はモデル精度と正の相関関係にあることを見出した。

関連論文リスト

Decker: Double Check with Heterogeneous Knowledge for Commonsense Fact Verification [80.31112722910787]
異種知識をブリッジ可能な常識的事実検証モデルであるDeckerを提案する。 CSQA2.0とCREAKの2つのコモンセンス事実検証ベンチマークデータセットの実験結果から,Deckerの有効性が示された。
論文参考訳（メタデータ） (2023-05-10T06:28:16Z)
Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
論文参考訳（メタデータ） (2023-03-02T09:03:43Z)
Collaborative Anomaly Detection [66.51075412012581]
本研究では,タスク間の相関関係を埋め込むことで,全てのタスクを共同で学習するための協調的異常検出(CAD)を提案する。条件密度推定と条件確率比推定を用いてCADを探索する。タスク埋め込みモデルを学ぶために、前もって少数のタスクを選択し、それを使ってタスク埋め込みをウォームスタートさせることは有益である。
論文参考訳（メタデータ） (2022-09-20T18:01:07Z)
Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning [64.78972193105443]
本稿では,予測に有効な新しいAE検出フレームワークを提案する。 AEの異常な関係と拡張バージョンを区別して検出を行う。表現を抽出し、ラベルを予測するために、既製の自己監視学習(SSL)モデルが使用される。
論文参考訳（メタデータ） (2022-08-31T08:18:44Z)
Roof-BERT: Divide Understanding Labour and Join in Work [7.523253052992842]
Roof-BERTは、2つの基盤となるBERTと融合層を持つモデルである。基盤となるBERTの1つは知識資源をエンコードし、もう1つは元の入力文をエンコードする。 QAタスクの実験結果から,提案手法の有効性が明らかになった。
論文参考訳（メタデータ） (2021-12-13T15:40:54Z)
Leveraging Commonsense Knowledge on Classifying False News and Determining Checkworthiness of Claims [1.487444917213389]
本稿では,偽ニュース分類とチェック価値のあるクレーム検出のタスクに対して,コモンセンスの知識を活用することを提案する。マルチタスク学習環境において、BERT言語モデルに共通する質問応答タスクと上記のタスクを微調整する。実験により,コモンセンス知識が両タスクのパフォーマンスを向上させることを示す。
論文参考訳（メタデータ） (2021-08-08T20:52:45Z)
Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文参考訳（メタデータ） (2021-04-14T14:20:22Z)
Using Prior Knowledge to Guide BERT's Attention in Semantic Textual Matching Tasks [13.922700041632302]
深層トランスフォーマーモデル(Bidirectional Representations from Transformers (BERT))に先行知識を組み込む問題について検討する。 BERTがもっとも必要とするタスク固有の知識と、それが最も必要である場所をよりよく理解する。実験により,提案した知識を付加したBERTが意味的テキストマッチング性能を一貫して改善できることが実証された。
論文参考訳（メタデータ） (2021-02-22T12:07:16Z)
Augmenting BERT Carefully with Underrepresented Linguistic Features [6.096779295981379]
変換器 (BERT) を用いた配列分類モデルにより, 人間の音声の転写からアルツハイマー病 (AD) を検出するのに有効であることが証明された。従来の研究では、追加情報でモデルを増強することで、様々なタスクにおけるBERTのパフォーマンスを改善することが可能であった。これらの特徴と組み合わせて調整したBERTは,細調整したBERT単独に比べて,AD分類の性能を最大5%向上させることを示した。
論文参考訳（メタデータ） (2020-11-12T01:32:41Z)
A Pairwise Probe for Understanding BERT Fine-Tuning on Machine Reading Comprehension [9.446041739364135]
本稿では,機械読解(MRC)タスクにおけるBERTの微調整を理解するためのペアワイズプローブを提案する。ペアワイズ探索タスクにより、各レイヤの事前学習および微調整されたBERTの隠れ表現の性能を比較する。我々の実験分析は、非常に自信のある結論をもたらす。
論文参考訳（メタデータ） (2020-06-02T02:12:19Z)
Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers [54.417299589288184]
本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
論文参考訳（メタデータ） (2020-05-24T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。