論文の概要: What Really is Commonsense Knowledge?

• arxiv url: http://arxiv.org/abs/2411.03964v1
• Date: Wed, 06 Nov 2024 14:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:42.095106
• Title: What Really is Commonsense Knowledge?
• Title（参考訳）: Commonsenseの知識とは何か?
• Authors: Quyet V. Do, Junze Li, Tung-Duong Vuong, Zhaowei Wang, Yangqiu Song, Xiaojuan Ma,
• Abstract要約: 我々は、既存のコモンセンス知識の定義を調査し、概念を定義するための3つのフレームワークに基礎を置き、それらをコモンセンス知識の統一的な定義に統合する。 次に、アノテーションと実験のための統合された定義をCommonsenseQAとCommonsenseQA 2.0データセットで使用します。 本研究は,2つのデータセットには非常識知識のインスタンスが多数存在し,これら2つのサブセットに対して大きな性能差があることを示す。
• 参考スコア（独自算出の注目度）: 58.5342212738895
• License:
• Abstract: Commonsense datasets have been well developed in Natural Language Processing, mainly through crowdsource human annotation. However, there are debates on the genuineness of commonsense reasoning benchmarks. In specific, a significant portion of instances in some commonsense benchmarks do not concern commonsense knowledge. That problem would undermine the measurement of the true commonsense reasoning ability of evaluated models. It is also suggested that the problem originated from a blurry concept of commonsense knowledge, as distinguished from other types of knowledge. To demystify all of the above claims, in this study, we survey existing definitions of commonsense knowledge, ground into the three frameworks for defining concepts, and consolidate them into a multi-framework unified definition of commonsense knowledge (so-called consolidated definition). We then use the consolidated definition for annotations and experiments on the CommonsenseQA and CommonsenseQA 2.0 datasets to examine the above claims. Our study shows that there exists a large portion of non-commonsense-knowledge instances in the two datasets, and a large performance gap on these two subsets where Large Language Models (LLMs) perform worse on commonsense-knowledge instances.
• Abstract（参考訳）: Commonsenseデータセットは、主にクラウドソースのヒューマンアノテーションを通じて自然言語処理でよく開発されている。 しかし、コモンセンス推論ベンチマークの真偽については議論がある。 特に、いくつかのコモンセンスベンチマークのインスタンスのかなりの部分は、コモンセンスの知識には関心がない。 この問題は、評価モデルの真のコモンセンス推論能力の測定を損なうことになる。 この問題は、他の種類の知識と区別されるような、常識的知識という曖昧な概念に端を発しているとも考えられている。 本研究は,既存のコモンセンス知識の定義を,概念定義のための3つの枠組みに根ざし,コモンセンス知識の多フレーム統合定義(いわゆる統合定義)に統合するものである。 次に、アノテーションと実験のための統合された定義をCommonsenseQAとCommonsenseQA 2.0データセットで使用し、上記のクレームを調べます。 本研究は,2つのデータセットに非常識知識のインスタンスが多数存在すること,およびLarge Language Models (LLM) がCommonsense-knowledgeインスタンスに悪影響を及ぼす2つのサブセットに対して,大きなパフォーマンスギャップがあることを示す。

関連論文リスト

• CANDLE: Iterative Conceptualization and Instantiation Distillation from Large Language Models for Commonsense Reasoning [45.62134354858683]
  CANDLEは、コモンセンス知識ベースに対する概念化とインスタンス化を反復的に行うフレームワークである。 CANDLEをATOMICに適用することにより、600万の概念化と三重項のインスタンス化を含む総合的な知識基盤を構築する。
  論文  参考訳（メタデータ） (2024-01-14T13:24:30Z)
• CORECODE: A Common Sense Annotated Dialogue Dataset with Benchmark Tasks for Chinese Large Language Models [42.5532503036805]
  CORECODEは、ダイアディック対話に手動で注釈付けされた豊富なコモンセンス知識を含むデータセットである。 日常会話における常識知識を,エンティティ,イベント,社会的相互作用の3次元に分類する。 クラウドソーシングを通じて, 76,787のコモンセンス知識アノテーションを19,700の対話から収集した。
  論文  参考訳（メタデータ） (2023-12-20T09:06:18Z)
• Decker: Double Check with Heterogeneous Knowledge for Commonsense Fact Verification [80.31112722910787]
  異種知識をブリッジ可能な常識的事実検証モデルであるDeckerを提案する。 CSQA2.0とCREAKの2つのコモンセンス事実検証ベンチマークデータセットの実験結果から,Deckerの有効性が示された。
  論文  参考訳（メタデータ） (2023-05-10T06:28:16Z)
• Visually Grounded Commonsense Knowledge Acquisition [132.42003872906062]
  大規模なコモンセンス知識ベースは、幅広いAIアプリケーションを促進する。 視覚知覚には、現実世界の実体に関する豊富な常識知識が含まれる。 本稿では,遠隔教師付きマルチインスタンス学習問題としてCKEを定式化するCLEVERを提案する。
  論文  参考訳（メタデータ） (2022-11-22T07:00:16Z)
• CIKQA: Learning Commonsense Inference with a Unified Knowledge-in-the-loop QA Paradigm [120.98789964518562]
  我々は,コモンセンス知識の大規模化により,すべてのコモンセンスをカバーできるような,各タスクに十分なトレーニングセットをアノテートすることは不可能である,と論じる。 モデルのコモンセンス推論能力について,2つの観点から検討する。 我々は、このベンチマークを知識-イン-ループ質問回答(CIKQA)を用いたCommonsense Inferenceと命名した。
  論文  参考訳（メタデータ） (2022-10-12T14:32:39Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Commonsense Knowledge in Word Associations and ConceptNet [37.751909219863585]
  本稿では,ConcpetNet と SWOW という2つの大規模知識資源の詳細な比較を行った。 本稿では,2つのグラフの構造,重なり合い,相違点と,それらが状況的常識的知識をエンコードする程度について検討する。
  論文  参考訳（メタデータ） (2021-09-20T06:06:30Z)
• Dimensions of Commonsense Knowledge [60.49243784752026]
  我々は,その関係に特に焦点をあてて,広く普及しているコモンセンスソースを調査した。 我々はこれらの関係を13の知識次元に集約し、それぞれがソースにあるより具体的な関係を抽象化する。
  論文  参考訳（メタデータ） (2021-01-12T17:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。