論文の概要: How Knowledge Graph and Attention Help? A Quantitative Analysis into Bag-level Relation Extraction

• arxiv url: http://arxiv.org/abs/2107.12064v1
• Date: Mon, 26 Jul 2021 09:38:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 20:55:24.034139
• Title: How Knowledge Graph and Attention Help? A Quantitative Analysis into Bag-level Relation Extraction
• Title（参考訳）: 知識グラフと注意はどのように役立つか? バッグレベル関係抽出の定量的解析
• Authors: Zikun Hu, Yixin Cao, Lifu Huang, Tat-Seng Chua
• Abstract要約: バッグレベルの関係抽出(RE)における注意と知識グラフの効果を定量的に評価する。 その結果,(1)注目精度の向上は,エンティティ参照特徴を抽出するモデルの性能を損なう可能性があること,(2)注目性能は様々なノイズ分布パターンの影響が大きいこと,(3)KG強化された注目はRE性能を向上するが,その効果は注目度を向上させるだけでなく,先行するエンティティを組み込むことによっても改善することがわかった。
• 参考スコア（独自算出の注目度）: 66.09605613944201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Graph (KG) and attention mechanism have been demonstrated effective in introducing and selecting useful information for weakly supervised methods. However, only qualitative analysis and ablation study are provided as evidence. In this paper, we contribute a dataset and propose a paradigm to quantitatively evaluate the effect of attention and KG on bag-level relation extraction (RE). We find that (1) higher attention accuracy may lead to worse performance as it may harm the model's ability to extract entity mention features; (2) the performance of attention is largely influenced by various noise distribution patterns, which is closely related to real-world datasets; (3) KG-enhanced attention indeed improves RE performance, while not through enhanced attention but by incorporating entity prior; and (4) attention mechanism may exacerbate the issue of insufficient training data. Based on these findings, we show that a straightforward variant of RE model can achieve significant improvements (6% AUC on average) on two real-world datasets as compared with three state-of-the-art baselines. Our codes and datasets are available at https://github.com/zig-kwin-hu/how-KG-ATT-help.
• Abstract（参考訳）: 知識グラフ(KG)と注意機構は、弱教師付き手法のための有用な情報の導入と選択に有効である。 しかし、定性的分析とアブレーション研究のみが証拠として提供される。 本稿では,バッグレベルの関係抽出(RE)における注意とKGの効果を定量的に評価するパラダイムを提案する。 We find that (1) higher attention accuracy may lead to worse performance as it may harm the model's ability to extract entity mention features; (2) the performance of attention is largely influenced by various noise distribution patterns, which is closely related to real-world datasets; (3) KG-enhanced attention indeed improves RE performance, while not through enhanced attention but by incorporating entity prior; and (4) attention mechanism may exacerbate the issue of insufficient training data. これらの結果から,reモデルの簡易な変形により,実世界の2つのデータセットにおいて,3つの最先端のベースラインと比較して大幅な改善(平均6% auc)が達成できることを示した。 コードとデータセットはhttps://github.com/zig-kwin-hu/how-KG-ATT-help.comで公開しています。

関連論文リスト

• Characterizing Massive Activations of Attention Mechanism in Graph Neural Networks [0.9499648210774584]
  近年、複雑なパターンをキャプチャする能力を改善するため、注意機構がグラフニューラルネットワーク(GNN)に統合されている。 本稿では,注意層内におけるMA(Massive Activations)の出現を明らかにした最初の総合的研究について述べる。 本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,GNNモデルの評価を行う。
  論文  参考訳（メタデータ） (2024-09-05T12:19:07Z)
• Distilling Aggregated Knowledge for Weakly-Supervised Video Anomaly Detection [11.250490586786878]
  ビデオ異常検出は、監視ビデオにおける異常事象を識別できる自動モデルを開発することを目的としている。 集約表現から比較的単純なモデルに知識を蒸留することで,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-06-05T00:44:42Z)
• Data-Centric Long-Tailed Image Recognition [49.90107582624604]
  ロングテールモデルは高品質なデータに対する強い需要を示している。 データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。 現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
  論文  参考訳（メタデータ） (2023-11-03T06:34:37Z)
• SANCL: Multimodal Review Helpfulness Prediction with Selective Attention and Natural Contrastive Learning [41.92038829041499]
  MRHP(Multimodal Review Helpfulness Prediction)は、製品レビューを予測された有用度スコアに従ってソートすることを目的としている。 この課題のこれまでの研究は、注意に基づくモダリティ融合、情報統合、関係モデリングに重点を置いていた。 MRHPのためのSANCL: Selective Attention and Natural Contrastive Learningを提案する。
  論文  参考訳（メタデータ） (2022-09-12T06:31:13Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• More Than Just Attention: Learning Cross-Modal Attentions with Contrastive Constraints [63.08768589044052]
  本稿では,コントラストコンテンツリソーシング (CCR) とコントラストコンテンツスワッピング (CCS) の制約を提案する。 CCRとCCSの制約は、明示的な注意アノテーションを必要とせず、対照的な学習方法で注意モデルのトレーニングを監督する。 Flickr30kとMS-COCOのデータセットの実験は、これらの注意制約を2つの最先端の注意ベースモデルに統合することで、モデルのパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2021-05-20T08:48:10Z)
• Incorporating Causal Graphical Prior Knowledge into Predictive Modeling via Simple Data Augmentation [92.96204497841032]
  因果グラフ(CG)は、データ分散の背後にあるデータ生成プロセスの知識のコンパクトな表現である。 本研究では,条件付き独立性(CI)関係の事前知識を活用可能なモデルに依存しないデータ拡張手法を提案する。 本手法は,小データシステムにおける予測精度の向上に有効であることを実験的に示した。
  論文  参考訳（メタデータ） (2021-02-27T06:13:59Z)
• Few-Shot Relation Learning with Attention for EEG-based Motor Imagery Classification [11.873435088539459]
  脳波(EEG)信号に基づく脳-コンピュータインタフェース(BCI)が注目されている。 運動画像(MI)データは、リハビリテーションや自律運転のシナリオに使用することができる。 脳波に基づくBCIシステムにはMI信号の分類が不可欠である。
  論文  参考訳（メタデータ） (2020-03-03T02:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。