論文の概要: PseudoReasoner: Leveraging Pseudo Labels for Commonsense Knowledge Base Population

• arxiv url: http://arxiv.org/abs/2210.07988v1
• Date: Fri, 14 Oct 2022 17:37:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:06:14.973899
• Title: PseudoReasoner: Leveraging Pseudo Labels for Commonsense Knowledge Base Population
• Title（参考訳）: pseudoreasoner: 常識知識ベース人口に擬似ラベルを活用する
• Authors: Tianqing Fang, Quyet V. Do, Hongming Zhang, Yangqiu Song, Ginny Y. Wong and Simon See
• Abstract要約: CSKB人口を対象とした半教師付き学習フレームワークであるPseudoReasonerを提案する。 CSKBで事前訓練された教師モデルを使用して、学生モデルから学ぶためのラベルなし候補データセットに擬似ラベルを提供する。 このフレームワークは、全体的なパフォーマンス、特にドメイン外パフォーマンスの5.3ポイントにおいて、バックボーンモデルKG-BERTを3.3ポイント改善することができる。
• 参考スコア（独自算出の注目度）: 40.526736652672916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commonsense Knowledge Base (CSKB) Population aims at reasoning over unseen entities and assertions on CSKBs, and is an important yet hard commonsense reasoning task. One challenge is that it requires out-of-domain generalization ability as the source CSKB for training is of a relatively smaller scale (1M) while the whole candidate space for population is way larger (200M). We propose PseudoReasoner, a semi-supervised learning framework for CSKB population that uses a teacher model pre-trained on CSKBs to provide pseudo labels on the unlabeled candidate dataset for a student model to learn from. The teacher can be a generative model rather than restricted to discriminative models as previous works. In addition, we design a new filtering procedure for pseudo labels based on influence function and the student model's prediction to further improve the performance. The framework can improve the backbone model KG-BERT (RoBERTa-large) by 3.3 points on the overall performance and especially, 5.3 points on the out-of-domain performance, and achieves the state-of-the-art. Codes and data are available at https://github.com/HKUST-KnowComp/PseudoReasoner.
• Abstract（参考訳）: Commonsense Knowledge Base (CSKB) Population は、CSKBの未確認エンティティやアサーションを推論することを目的としており、重要なコモンセンス推論タスクである。 1つの課題は、トレーニングのソースCSKBが比較的小さなスケール(1M)であるのに対して、人口の候補空間全体がはるかに大きい(2M)ため、ドメイン外の一般化能力を必要とすることである。 PseudoReasonerは、CSKB上で事前訓練された教師モデルを用いて、学生モデルから学習する未ラベル候補データセットに擬似ラベルを提供する、CSKB人口のための半教師付き学習フレームワークである。 教師は、以前の作品のように差別的なモデルに制限されるのではなく、生成モデルとなることができる。 さらに,影響関数と学生モデルの予測に基づく擬似ラベルのフィルタリング手順を新たに設計し,さらなる性能向上を図る。 このフレームワークは、バックボーンモデルKG-BERT(RoBERTa-large)を全体的なパフォーマンスで3.3ポイント、特にドメイン外のパフォーマンスで5.3ポイント改善し、最先端を実現する。 コードとデータはhttps://github.com/HKUST-KnowComp/PseudoReasonerで入手できる。

関連論文リスト

• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Preference Enhanced Social Influence Modeling for Network-Aware Cascade Prediction [59.221668173521884]
  本稿では,ユーザの嗜好モデルを強化することで,カスケードサイズ予測を促進する新しいフレームワークを提案する。 エンド・ツー・エンドの手法により,ユーザの情報拡散プロセスがより適応的で正確になる。
  論文  参考訳（メタデータ） (2022-04-18T09:25:06Z)
• Diagnosing Batch Normalization in Class Incremental Learning [39.70552266952221]
  バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。 分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。 BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-16T12:38:43Z)
• Graph Few-shot Class-incremental Learning [25.94168397283495]
  新しいクラスを段階的に学習する能力は、すべての現実世界の人工知能システムにとって不可欠である。 本稿では,グラフFCL(Graph Few-shot Class-incremental)問題について検討する。 基本クラスから繰り返しタスクをサンプリングすることでグラフ擬似インクリメンタルラーニングパラダイムを提案する。 本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスク依存型正規化器について述べる。
  論文  参考訳（メタデータ） (2021-12-23T19:46:07Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Benchmarking Commonsense Knowledge Base Population with an Effective Evaluation Dataset [37.02104430195374]
  要素が自由テキストの形で存在するCSKB(Commonsense Knowledge Base)に対する推論は、NLPにおいて重要であるが難しい課題である。 我々はCSKB集団タスクを新しい大規模データセットでベンチマークする。 また,グラフ上の推論を行う新しい帰納的コモンセンス推論モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-16T02:50:01Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Extract the Knowledge of Graph Neural Networks and Go Beyond it: An Effective Knowledge Distillation Framework [42.57467126227328]
  半教師学習の課題をグラフ上で解決するための知識蒸留に基づくフレームワークを提案する。 このフレームワークは、任意の学習したGNNモデルの知識を抽出し、よく設計された学生モデルに注入する。 実験結果から,学習者モデルは平均1.4%～4.7%の教師モデルより一貫して優れていた。
  論文  参考訳（メタデータ） (2021-03-04T08:13:55Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
  BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。 アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2020-06-22T03:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。