論文の概要: WinoWhy: A Deep Diagnosis of Essential Commonsense Knowledge for Answering Winograd Schema Challenge

• arxiv url: http://arxiv.org/abs/2005.05763v1
• Date: Tue, 12 May 2020 13:40:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 18:15:26.898976
• Title: WinoWhy: A Deep Diagnosis of Essential Commonsense Knowledge for Answering Winograd Schema Challenge
• Title（参考訳）: WinoWhy:Winograd Schema Challengeへの回答に必須のコモンセンス知識の深い診断
• Authors: Hongming Zhang, Xinran Zhao, Yangqiu Song
• Abstract要約: ウィノグラードチャレンジ(WSC)に答えるために,本質的なコモンセンス知識の包括的分類を初めて提示する。 それぞれの質問に対して、まずアノテータを招待し、正しい判断をする理由を提供し、次にそれらを6つの主要な知識カテゴリに分類する。 我々はWinoWhyと呼ばれる新しいタスクを開発しています。これは、モデルがすべてのWSC質問に対して非常によく似ているが間違った理由から、もっともらしい理由を区別する必要があります。
• 参考スコア（独自算出の注目度）: 55.39835612617972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present the first comprehensive categorization of essential commonsense knowledge for answering the Winograd Schema Challenge (WSC). For each of the questions, we invite annotators to first provide reasons for making correct decisions and then categorize them into six major knowledge categories. By doing so, we better understand the limitation of existing methods (i.e., what kind of knowledge cannot be effectively represented or inferred with existing methods) and shed some light on the commonsense knowledge that we need to acquire in the future for better commonsense reasoning. Moreover, to investigate whether current WSC models can understand the commonsense or they simply solve the WSC questions based on the statistical bias of the dataset, we leverage the collected reasons to develop a new task called WinoWhy, which requires models to distinguish plausible reasons from very similar but wrong reasons for all WSC questions. Experimental results prove that even though pre-trained language representation models have achieved promising progress on the original WSC dataset, they are still struggling at WinoWhy. Further experiments show that even though supervised models can achieve better performance, the performance of these models can be sensitive to the dataset distribution. WinoWhy and all codes are available at: https://github.com/HKUST-KnowComp/WinoWhy.
• Abstract（参考訳）: 本稿では,Wonograd Schema Challenge (WSC) に答えるために,本質的なコモンセンス知識を包括的に分類する。 各質問に対して、アノテータはまず正しい判断をする理由を提供し、次に6つの主要な知識カテゴリに分類します。 そうすることで、既存の方法の限界(つまり、既存の方法で効果的に表現できない知識や推論できない知識)をよりよく理解し、より良い常識推論のために将来獲得する必要がある常識知識に光を当てることができます。 さらに、現在のwscモデルが常識を理解することができるか、あるいはデータセットの統計的バイアスに基づいて単にwscの問題を解いているかを調べるために、収集された理由を利用してwinowhyと呼ばれる新しいタスクを開発します。 実験の結果、事前学習された言語表現モデルは、オリジナルのwscデータセットで有望な進歩を遂げているが、winowhyでは未だに苦戦している。 さらに実験により、教師付きモデルではより良いパフォーマンスが得られるが、これらのモデルの性能はデータセットの分布に敏感であることが示された。 WinoWhyとすべてのコードは、https://github.com/HKUST-KnowComp/WinoWhyで入手できる。

関連論文リスト

• Large Language Models for Constrained-Based Causal Discovery [4.858756226945995]
  因果関係は経済、脳、気候といった複雑なシステムを理解するのに不可欠である。 この研究は、因果グラフ生成のためのドメインエキスパートの代替として、LLM(Large Language Models)の能力を探求する。
  論文  参考訳（メタデータ） (2024-06-11T15:45:24Z)
• A Question-centric Multi-experts Contrastive Learning Framework for Improving the Accuracy and Interpretability of Deep Sequential Knowledge Tracing Models [26.294808618068146]
  知識追跡は,学生の今後の業績を予測する上で重要な役割を担っている。 ディープニューラルネットワーク(DNN)は、KT問題を解決する大きな可能性を示している。 しかし、KTプロセスのモデル化にディープラーニング技術を適用する際には、いくつかの重要な課題がある。
  論文  参考訳（メタデータ） (2024-03-12T05:15:42Z)
• Do We Fully Understand Students' Knowledge States? Identifying and Mitigating Answer Bias in Knowledge Tracing [12.31363929361146]
  知識追跡は、概念に関連した質問との学習相互作用を通じて、学生の進化する知識状態を監視することを目的としている。 解答バイアスの一般的な現象、すなわち、各質問に対する正解と誤解の高度に不均衡な分布がある。 既存のモデルは、KTで高い予測性能を達成するためのショートカットとして解答バイアスを記憶する傾向がある。
  論文  参考訳（メタデータ） (2023-08-15T13:56:29Z)
• Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
  本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。 我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
  論文  参考訳（メタデータ） (2023-05-24T08:33:15Z)
• A Conceptual Model for End-to-End Causal Discovery in Knowledge Tracing [8.049552839071918]
  我々は,知識追跡における因果発見問題の解決に向けて,予備的な一歩を踏み出した。 第3回NeurIPS 2022章「教育における学習経路の因果的洞察への挑戦」の項目の1つにその解決策が挙げられた。
  論文  参考訳（メタデータ） (2023-05-11T21:20:29Z)
• Knowledge Tracing for Complex Problem Solving: Granular Rank-Based Tensor Factorization [6.077274947471846]
  グラニュラーRAnkに基づくTEnsor Factorization (GRATE) を用いた新しい学生知識追跡手法を提案する。 GRATEは、問題における生徒のパフォーマンスを予測し、それらに提示される概念を発見しながら集約できる学生の試みを選択する。 実世界の3つのデータセットに対する実験は、最先端のベースラインに比べてGRATEの性能が向上したことを示している。
  論文  参考訳（メタデータ） (2022-10-06T06:22:46Z)
• Dealing with Missing Modalities in the Visual Question Answer-Difference Prediction Task through Knowledge Distillation [75.1682163844354]
  我々は,視覚的質問応答拡散予測タスクから生じる欠落モダリティの問題に対処する。 本稿では,イメージ/質問/回答トリプレットを入力として,ベースラインを上回る「大きな」教師モデルを紹介する。
  論文  参考訳（メタデータ） (2021-04-13T06:41:11Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)
• Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding [140.5911760063681]
  VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。 視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
  論文  参考訳（メタデータ） (2020-12-14T00:33:44Z)
• A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution [55.39835612617972]
  PCR(Pronoun Coreference Resolution)は、プロノミナルな表現を、それらが参照するすべての言及に対して解決するタスクである。 1つの重要な自然言語理解(NLU)コンポーネントとして、代名詞分解は多くの下流タスクにおいて不可欠であり、既存のモデルでは依然として困難である。 我々は、現在のモデルが標準評価セットで優れたパフォーマンスを達成しているにもかかわらず、実際のアプリケーションで使用する準備ができていないことを示すために、広範な実験を行っている。
  論文  参考訳（メタデータ） (2020-09-27T01:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。