論文の概要: Benchmarking Commonsense Knowledge Base Population with an Effective Evaluation Dataset

• arxiv url: http://arxiv.org/abs/2109.07679v1
• Date: Thu, 16 Sep 2021 02:50:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 14:16:09.775438
• Title: Benchmarking Commonsense Knowledge Base Population with an Effective Evaluation Dataset
• Title（参考訳）: 効果的な評価データセットを用いたコモンセンス知識ベース人口のベンチマーク
• Authors: Tianqing Fang, Weiqi Wang, Sehyun Choi, Shibo Hao, Hongming Zhang, Yangqiu Song, Bin He
• Abstract要約: 要素が自由テキストの形で存在するCSKB(Commonsense Knowledge Base)に対する推論は、NLPにおいて重要であるが難しい課題である。 我々はCSKB集団タスクを新しい大規模データセットでベンチマークする。 また,グラフ上の推論を行う新しい帰納的コモンセンス推論モデルを提案する。
• 参考スコア（独自算出の注目度）: 37.02104430195374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning over commonsense knowledge bases (CSKB) whose elements are in the form of free-text is an important yet hard task in NLP. While CSKB completion only fills the missing links within the domain of the CSKB, CSKB population is alternatively proposed with the goal of reasoning unseen assertions from external resources. In this task, CSKBs are grounded to a large-scale eventuality (activity, state, and event) graph to discriminate whether novel triples from the eventuality graph are plausible or not. However, existing evaluations on the population task are either not accurate (automatic evaluation with randomly sampled negative examples) or of small scale (human annotation). In this paper, we benchmark the CSKB population task with a new large-scale dataset by first aligning four popular CSKBs, and then presenting a high-quality human-annotated evaluation set to probe neural models' commonsense reasoning ability. We also propose a novel inductive commonsense reasoning model that reasons over graphs. Experimental results show that generalizing commonsense reasoning on unseen assertions is inherently a hard task. Models achieving high accuracy during training perform poorly on the evaluation set, with a large gap between human performance. We will make the data publicly available for future contributions. Codes and data are available at https://github.com/HKUST-KnowComp/CSKB-Population.
• Abstract（参考訳）: 要素が自由テキストの形で存在する常識知識ベース(CSKB)に対する推論は、NLPにおいて重要な課題である。 CSKBの完成はCSKBのドメイン内の欠落したリンクのみを埋めるが、CSKBの人口は外部リソースから見知らぬ主張を推論する目的で提案される。 このタスクでは、CSKBは大規模な結果(アクティビティ、状態、イベント)グラフに基づいて、結果性グラフからの新規な三重項が妥当かどうかを判別する。 しかし, 人口タスクに対する既存の評価は正確でない(ランダムにサンプル化した負の例による自動評価)か, 小型(人間のアノテーション)である。 本稿では,まず4つのCSKBを並べた大規模データセットを用いてCSKB集団タスクをベンチマークし,その上で,ニューラルネットワークのコモンセンス推論能力を探索するための高品質な人間アノテーション評価セットを提案する。 また,グラフを理由とする新しい帰納的コモンセンス推論モデルを提案する。 実験の結果,無意味なアサーションに対するコモンセンス推論の一般化は本質的に難しい課題であることがわかった。 トレーニング中に高い精度を達成するモデルは、評価セットでパフォーマンスが悪く、人間のパフォーマンスの間に大きなギャップがある。 将来的なコントリビューションのために、データを公開します。 コードとデータはhttps://github.com/HKUST-KnowComp/CSKB-Populationで公開されている。

関連論文リスト

• Real World Conversational Entity Linking Requires More Than Zeroshots [50.5691094768954]
  本研究では,資源制約下でのELモデルの有効性を評価するための評価シナリオを設計する。 本稿では、Fandomと新しいゼロショット対話型エンティティリンクデータセットを用いて、ELモデルの未知KBへの一般化能力を評価する。 その結果,既存のゼロショットELモデルでは,事前トレーニングなしで新しいドメイン固有KBを導入するとフェールすることがわかった。
  論文  参考訳（メタデータ） (2024-09-02T10:37:53Z)
• BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning [39.090104460303415]
  オフラインモデルベース強化学習(MBRL)は、事前コンパイルされたデータセットを使用してモデルとポリシーを学ぶことにより、データ効率を向上させる。 本稿は、このミスマッチの主な原因を、オフラインデータに存在する根底にある共同設立者から特定する。 両状態の因果表現をキャプチャするアルゴリズムである textbfBilintextbfEar textbfCAUSal rtextbfEpresentation (BECAUSE) を導入する。
  論文  参考訳（メタデータ） (2024-07-15T17:59:23Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• CAR: Conceptualization-Augmented Reasoner for Zero-Shot Commonsense Question Answering [56.592385613002584]
  ゼロショットコモンセンス質問応答の課題に対処するために,概念化強化推論器(CAR)を提案する。 CARは、CommonSenseの知識を多くの高レベルなインスタンスに抽象化し、CommonSenseの知識ベースの範囲を拡大する。 CARは、既存のメソッドよりも、ゼロショットのコモンセンスシナリオに関する質問に答えることにより、より堅牢に一般化する。
  論文  参考訳（メタデータ） (2023-05-24T08:21:31Z)
• PseudoReasoner: Leveraging Pseudo Labels for Commonsense Knowledge Base Population [40.526736652672916]
  CSKB人口を対象とした半教師付き学習フレームワークであるPseudoReasonerを提案する。 CSKBで事前訓練された教師モデルを使用して、学生モデルから学ぶためのラベルなし候補データセットに擬似ラベルを提供する。 このフレームワークは、全体的なパフォーマンス、特にドメイン外パフォーマンスの5.3ポイントにおいて、バックボーンモデルKG-BERTを3.3ポイント改善することができる。
  論文  参考訳（メタデータ） (2022-10-14T17:37:30Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Combining human parsing with analytical feature extraction and ranking schemes for high-generalization person reidentification [0.0]
  近年,科学と社会の両面での重要性から,人物再識別(re-ID)が注目されている。 機械学習、特にDeep Learning (DL)は、研究者がベンチマークデータセットで前例のない精度のレベルを達成できるようにする主要なRe-idツールとなっている。 本稿では,高一般化の可能性を示す訓練可能なパラメータを含まないモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-28T17:22:48Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Zero-shot Node Classification with Decomposed Graph Prototype Network [33.24920910739568]
  2段階の性質を持つゼロショットノード分類(ZNC)問題について検討する。 最初の段階では,実クラス関係を推定した定量的CSD評価戦略を提案する。 第2段階では,DGPN(Decomposed Graph Prototype Network)方式を提案する。
  論文  参考訳（メタデータ） (2021-06-15T10:13:20Z)
• Ranking vs. Classifying: Measuring Knowledge Base Completion Quality [10.06803520598035]
  KBCの品質を反映するためには,バイナリ予測の考慮が不可欠である。 KBから欠落した現実世界の実体の現実的なシナリオをシミュレートする。 我々は,最新のKB埋め込みモデルを新しいベンチマークで評価した。
  論文  参考訳（メタデータ） (2021-02-02T17:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。