論文の概要: UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations
- arxiv url: http://arxiv.org/abs/2311.08469v1
- Date: Tue, 14 Nov 2023 19:00:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 18:42:23.795850
- Title: UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations
- Title(参考訳): あり得ない推論: あり得ない状況に対する帰納的推論
- Authors: Wenting Zhao, Justin T Chiu, Jena D. Hwang, Faeze Brahman, Jack
Hessel, Sanjiban Choudhury, Yejin Choi, Xiang Lorraine Li, Alane Suhr
- Abstract要約: 異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。
予期せぬ結果のコンテキストが与えられた場合、このタスクは自然言語の説明を生成するために故意に推論する必要がある。
私たちはUNcommonsenseという新しい英語コーパスをリリースします。
- 参考スコア(独自算出の注目度): 65.07706249058549
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language technologies that accurately model the dynamics of events must
perform commonsense reasoning. Existing work evaluating commonsense reasoning
focuses on making inferences about common, everyday situations. To instead
investigate the ability to model unusual, unexpected, and unlikely situations,
we explore the task of uncommonsense abductive reasoning. Given a piece of
context with an unexpected outcome, this task requires reasoning abductively to
generate a natural language explanation that makes the unexpected outcome more
likely in the context. To this end, we curate and release a new English
language corpus called UNcommonsense. We characterize the differences between
the performance of human explainers and the best performing large language
models, finding that model-enhanced human-written explanations achieve the
highest quality by trading off between specificity and diversity. Finally, we
experiment with several online imitation learning algorithms to train open and
accessible language models on this task. When compared with the vanilla
supervised fine-tuning approach, these methods consistently reduce lose rates
on both common and uncommonsense abductive reasoning judged by human
evaluators.
- Abstract(参考訳): イベントのダイナミクスを正確にモデル化する言語技術は、常識推論を実行する必要がある。
常識推論を評価する既存の作業は、日常的な日常的な状況を推論することに焦点を当てている。
異常、予期せぬ、そしてありそうもない状況をモデル化する能力を調べるために、我々は非常識な誘惑的推論の課題を探求する。
予期せぬ結果を伴うコンテキストが与えられた場合、このタスクは、予期せぬ結果が文脈でより起こりやすいような自然言語の説明を生成するために、故意に推論する必要がある。
この目的のために、UNcommonsenseと呼ばれる新しい英語コーパスを作成、リリースする。
人間の説明能力と優れた言語モデルとの差異を特徴付け、モデル強化された人間による説明が特異性と多様性のトレードオフによって最高の品質を達成することを発見した。
最後に,オープンでアクセシブルな言語モデルをトレーニングするために,複数のオンライン模倣学習アルゴリズムを実験した。
バニラ監督による微調整手法と比較して、これらの手法は人間の評価者によって判断される常識的および非常識的誘惑的推論の損失率を一貫して減少させる。
関連論文リスト
- Go Beyond The Obvious: Probing the gap of INFORMAL reasoning ability
between Humanity and LLMs by Detective Reasoning Puzzle Benchmark [32.52910329977459]
本稿では、アクセス可能なオンラインリソースから収集した1200の質問の集合である検出推論ベンチマークを構築する。
ベンチマークの欠如によるモデル非公式推論能力の向上を考慮し,人間の思考を模倣したセルフクエスト・プロンプト・フレームワークを提案する。
実験結果から, 検出推論ベンチマークにおいて, 人間の性能がSoTA言語モデルよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2023-07-11T08:45:46Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - Abductive Commonsense Reasoning Exploiting Mutually Exclusive
Explanations [118.0818807474809]
帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。
自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。
この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:35:10Z) - A fine-grained comparison of pragmatic language understanding in humans
and language models [2.231167375820083]
言語モデルと人間を7つの現実的な現象で比較する。
最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。
モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
論文 参考訳(メタデータ) (2022-12-13T18:34:59Z) - Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。
実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
論文 参考訳(メタデータ) (2022-01-28T02:33:07Z) - Prompting Contrastive Explanations for Commonsense Reasoning Tasks [74.7346558082693]
大規模事前学習言語モデル(PLM)は、常識推論タスクにおいて、ほぼ人間に近い性能を達成することができる。
人間の解釈可能な証拠を生成するために、同じモデルを使う方法を示す。
論文 参考訳(メタデータ) (2021-06-12T17:06:13Z) - Social Commonsense Reasoning with Multi-Head Knowledge Attention [24.70946979449572]
社会的コモンセンス推論には、テキストの理解、社会イベントに関する知識、その実践的な意味、およびコモンセンス推論スキルが必要である。
本稿では,半構造化コモンセンス推論規則を符号化し,それをトランスフォーマーベースの推論セルに組み込むことを学習する,新しいマルチヘッド知識アテンションモデルを提案する。
論文 参考訳(メタデータ) (2020-10-12T10:24:40Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳(メタデータ) (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。