論文の概要: CoreQuisite: Circumstantial Preconditions of Common Sense Knowledge
- arxiv url: http://arxiv.org/abs/2104.08712v1
- Date: Sun, 18 Apr 2021 04:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 11:14:41.780313
- Title: CoreQuisite: Circumstantial Preconditions of Common Sense Knowledge
- Title(参考訳): corequisite: 常識知識の状況的前提条件
- Authors: Ehsan Qasemi, Filip Ilievski, Muhao Chen, Pedro Szekely
- Abstract要約: 最新言語モデル(LM)が常識事実を有効または無効にする暗黙の前提条件を理解しているかどうかは不明である。
自然言語で表現された前提条件で常識の事実をアノテートするCoreQuisiteと呼ばれるデータセットを提示する。
私達の結果は私達の仕事で機械と人間の性能の間に10-30%gapがあることを示します。
- 参考スコア(独自算出の注目度): 9.181791777532606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The task of identifying and reasoning with circumstantial preconditions
associated with everyday facts is natural to humans. It is unclear whether
state-of-the-art language models (LMs) understand the implicit preconditions
that enable or invalidate commonsense facts, such as "A glass is used for
drinking water", Despite their impressive accuracy on existing commonsense
tasks. In this paper, we propose a new problem of reasoning with circumstantial
preconditions, and present a dataset, called CoreQuisite, which annotates
commonsense facts with preconditions expressed in natural language. Based on
this resource, we create three canonical evaluation tasks and use them to
examine the capability of existing LMs to understand situational
pre-conditions. Our results show that there is a 10-30%gap between machine and
human performance on our tasks. We make all resources and software publicly
available.
- Abstract(参考訳): 日常的な事実に関連する状況条件の特定と推論は人間にとって自然な作業である。
現状の言語モデル(LM)が「グラスは飲料水に使われている」など、コモンセンスの事実を有効化または無効化する暗黙の前提条件を理解しているかどうかは不明である。
本稿では,状況前提条件を推論する新たな問題を提案し,CoreQuisiteと呼ばれる,自然言語で表現された前提条件で常識事実を注釈付けするデータセットを提案する。
本資料に基づいて,3つの標準評価タスクを作成し,既存のLMの状況条件理解能力について検討する。
その結果,タスクには機械と人的パフォーマンスの間に10~30%のギャップがあることがわかった。
すべてのリソースとソフトウェアを公開しています。
関連論文リスト
- What Really is Commonsense Knowledge? [58.5342212738895]
我々は、既存のコモンセンス知識の定義を調査し、概念を定義するための3つのフレームワークに基礎を置き、それらをコモンセンス知識の統一的な定義に統合する。
次に、アノテーションと実験のための統合された定義をCommonsenseQAとCommonsenseQA 2.0データセットで使用します。
本研究は,2つのデータセットには非常識知識のインスタンスが多数存在し,これら2つのサブセットに対して大きな性能差があることを示す。
論文 参考訳(メタデータ) (2024-11-06T14:54:19Z) - Can Language Models Take A Hint? Prompting for Controllable Contextualized Commonsense Inference [12.941933077524919]
我々は、文脈化されたコモンセンス推論を強化するデータ拡張手法である"hinting"を導入する。
『Hinting』では、ハードプロンプトとソフトプロンプトを併用して推論プロセスの導出を行う。
この結果から,"隠れ"は文脈コモンセンス推論の性能を損なうことなく,制御性の向上を図っている。
論文 参考訳(メタデータ) (2024-10-03T04:32:46Z) - Preconditioned Visual Language Inference with Weak Supervision [15.699168631274551]
人間は、シナリオごとに関連する文脈的前提条件を抽出することで、オブジェクトの余裕を推測することができる。
SOTA視覚言語モデル(VLM)がそのような前提条件を抽出し、それを用いてオブジェクトの可利用性を推定できるかどうかは不明である。
論文 参考訳(メタデータ) (2023-05-22T16:57:52Z) - Adversarial Transformer Language Models for Contextual Commonsense
Inference [14.12019824666882]
コモンセンス推論はコヒーレントなコモンセンスアサーションを生成するタスクである。
課題のいくつかは、推測された事実のトピックに対する制御可能性の欠如、トレーニング中の常識知識の欠如である。
我々は、上記の課題に対処する技術を開発する。
論文 参考訳(メタデータ) (2023-02-10T18:21:13Z) - Is the Elephant Flying? Resolving Ambiguities in Text-to-Image
Generative Models [64.58271886337826]
テキストから画像への生成モデルで生じるあいまいさについて検討する。
本稿では,ユーザから明確化を求めることによって,システムに与えられるプロンプトのあいまいさを軽減する枠組みを提案する。
論文 参考訳(メタデータ) (2022-11-17T17:12:43Z) - JECC: Commonsense Reasoning Tasks Derived from Interactive Fictions [75.42526766746515]
本稿では,人間のインタラクティブ・フィクション(IF)ゲームプレイ・ウォークスルーに基づく新しいコモンセンス推論データセットを提案する。
本データセットは,事実知識ではなく,機能的コモンセンス知識ルールの評価に重点を置いている。
実験の結果、導入したデータセットは、以前の機械読影モデルと新しい大規模言語モデルに難題であることが示されている。
論文 参考訳(メタデータ) (2022-10-18T19:20:53Z) - PInKS: Preconditioned Commonsense Inference with Minimal Supervision [35.168244321329915]
最小限の監督によって事前条件付き推論モデルであるPInKSを提案する。
我々は、PInKSがコモンセンス知識の前提条件による推論に焦点を当てたベンチマークの結果を改善することを実証的および理論的に示す。
論文 参考訳(メタデータ) (2022-06-16T04:50:00Z) - FLUTE: Figurative Language Understanding and Textual Explanations [37.83909874945428]
FLUTEは8000の図式NLIインスタンスのデータセットで、説明とともにリリースします。
我々は、GPT-3を人間の専門家と組み合わせることで、データセットの作成をスケールアップできることを示す。
論文 参考訳(メタデータ) (2022-05-24T23:25:02Z) - Provable Limitations of Acquiring Meaning from Ungrounded Form: What
will Future Language Models Understand? [87.20342701232869]
未知のシステムが意味を習得する能力について検討する。
アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。
言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。
しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
論文 参考訳(メタデータ) (2021-04-22T01:00:17Z) - Lexically-constrained Text Generation through Commonsense Knowledge
Extraction and Injection [62.071938098215085]
我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。
生成したテキストの意味的正しさを高めるための戦略を提案する。
論文 参考訳(メタデータ) (2020-12-19T23:23:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。