論文の概要: CKBP v2: Better Annotation and Reasoning for Commonsense Knowledge Base Population

• arxiv url: http://arxiv.org/abs/2304.10392v2
• Date: Sat, 21 Sep 2024 08:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 15:13:22.977366
• Title: CKBP v2: Better Annotation and Reasoning for Commonsense Knowledge Base Population
• Title（参考訳）: CKBP v2: Commonsense Knowledge Base Populationのためのアノテーションと推論の改善
• Authors: Tianqing Fang, Quyet V. Do, Zihao Zheng, Weiqi Wang, Sehyun Choi, Zhaowei Wang, Yangqiu Song,
• Abstract要約: Commonsense Knowledge Bases (CSKB) PopulationはCSKBの知識を外部リソースで自動的に拡張することを目的としている。 CKBP v2はアノテータとしてドメインの専門家を雇い、評価データをより代表的なものにするために多彩な反対サンプルを取り入れている。
• 参考スコア（独自算出の注目度）: 44.08478984886955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commonsense Knowledge Bases (CSKB) Population, which aims at automatically expanding knowledge in CSKBs with external resources, is an important yet hard task in NLP. Fang et al. (2021a) proposed a CSKB Population (CKBP) framework with an evaluation set CKBP v1. However, CKBP v1 relies on crowdsourced annotations that suffer from a considerable number of mislabeled answers, and the evaluationset lacks alignment with the external knowledge source due to random sampling. In this paper, we introduce CKBP v2, a new high-quality CSKB Population evaluation set that addresses the two aforementioned issues by employing domain experts as annotators and incorporating diversified adversarial samples to make the evaluation data more representative. We show that CKBP v2 serves as a challenging and representative evaluation dataset for the CSKB Population task, while its development set aids in selecting a population model that leads to improved knowledge acquisition for downstream commonsense reasoning. A better population model can also help acquire more informative commonsense knowledge as additional supervision signals for both generative commonsense inference and zero-shot commonsense question answering. Specifically, the question-answering model based on DeBERTa-v3-large (He et al., 2023b) even outperforms powerful large language models in a zero-shot setting, including ChatGPT and GPT-3.5.
• Abstract（参考訳）: Commonsense Knowledge Bases (CSKB) Populationは、CSKBの知識を外部リソースで自動的に拡張することを目的としており、NLPにおいて重要なタスクである。 Fang et al (2021a) は CKBP v1 の評価セットを持つ CSKB Population (CKBP) フレームワークを提案した。 しかし、CKBP v1は、かなりの数の誤った回答に苦しむクラウドソースアノテーションに依存しており、評価セットはランダムサンプリングによる外部知識ソースとの整合性に欠ける。 本稿では,上記の2つの問題に,ドメインエキスパートをアノテータとして採用し,多種多様な反対サンプルを取り入れて,評価データをより代表的なものにすることで対処する,高品質なCSKB集団評価セットであるCKBP v2を紹介する。 CKBP v2 は CSKB Population タスクの挑戦的,代表的評価データセットとして機能し,その開発セットは,下流コモンセンス推論の知識獲得に寄与する集団モデルの選択を支援する。 より良い人口モデルは、生成的コモンセンス推論とゼロショットコモンセンス質問応答の両方の監視信号として、より情報的なコモンセンス知識を得るのに役立つ。 具体的には、DeBERTa-v3-large(He et al , 2023b)に基づく質問応答モデルは、ChatGPTやGPT-3.5など、ゼロショット設定で強力な大規模言語モデルよりも優れている。

関連論文リスト

• Linguistic Fuzzy Information Evolution with Random Leader Election Mechanism for Decision-Making Systems [58.67035332062508]
  言語ファジィ情報進化はエージェント間の情報交換を理解する上で重要である。 エージェントの重みの違いは、古典的なDeGrootモデルにおいて異なる収束結果をもたらす可能性がある。 本稿では,言語ファジィ情報力学の新しい3つのモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-19T18:15:24Z)
• A Learn-Then-Reason Model Towards Generalization in Knowledge Base Question Answering [17.281005999581865]
  FreebaseやWikidataのような大規模知識ベース(KB)には、数百万の構造化知識がある。 Knowledge Base Question Answering (KBQA)は、自然言語の質問を通じて、これらの貴重なKBにアクセスするためのユーザフレンドリな方法を提供する。 本稿では,KBLLaMAを開発した。KBLLaMAは,新しいKB知識を言語モデルに注入し,フレキシブルなエンドツーエンドKBQAを実現するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-06-20T22:22:41Z)
• CAR: Conceptualization-Augmented Reasoner for Zero-Shot Commonsense Question Answering [56.592385613002584]
  ゼロショットコモンセンス質問応答の課題に対処するために,概念化強化推論器(CAR)を提案する。 CARは、CommonSenseの知識を多くの高レベルなインスタンスに抽象化し、CommonSenseの知識ベースの範囲を拡大する。 CARは、既存のメソッドよりも、ゼロショットのコモンセンスシナリオに関する質問に答えることにより、より堅牢に一般化する。
  論文  参考訳（メタデータ） (2023-05-24T08:21:31Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• PseudoReasoner: Leveraging Pseudo Labels for Commonsense Knowledge Base Population [40.526736652672916]
  CSKB人口を対象とした半教師付き学習フレームワークであるPseudoReasonerを提案する。 CSKBで事前訓練された教師モデルを使用して、学生モデルから学ぶためのラベルなし候補データセットに擬似ラベルを提供する。 このフレームワークは、全体的なパフォーマンス、特にドメイン外パフォーマンスの5.3ポイントにおいて、バックボーンモデルKG-BERTを3.3ポイント改善することができる。
  論文  参考訳（メタデータ） (2022-10-14T17:37:30Z)
• Reinforcement Learning with Heterogeneous Data: Estimation and Inference [84.72174994749305]
  人口の不均一性に関する逐次的決定問題に対処するために,K-ヘテロ・マルコフ決定過程(K-ヘテロ・MDP)を導入する。 本稿では、ある政策の価値を推定するための自己クラスタ化政策評価(ACPE)と、ある政策クラスにおける最適な政策を推定するための自己クラスタ化政策イテレーション(ACPI)を提案する。 理論的な知見を裏付けるシミュレーションを行い,MIMIC-III標準データセットの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-01-31T20:58:47Z)
• Benchmarking Commonsense Knowledge Base Population with an Effective Evaluation Dataset [37.02104430195374]
  要素が自由テキストの形で存在するCSKB(Commonsense Knowledge Base)に対する推論は、NLPにおいて重要であるが難しい課題である。 我々はCSKB集団タスクを新しい大規模データセットでベンチマークする。 また,グラフ上の推論を行う新しい帰納的コモンセンス推論モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-16T02:50:01Z)
• Beyond I.I.D.: Three Levels of Generalization for Question Answering on Knowledge Bases [63.43418760818188]
  GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。 BERTベースのKBQAモデルを提案する。 データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
  論文  参考訳（メタデータ） (2020-11-16T06:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。