論文の概要: E-KAR: A Benchmark for Rationalizing Natural Language Analogical Reasoning

• arxiv url: http://arxiv.org/abs/2203.08480v1
• Date: Wed, 16 Mar 2022 09:16:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 13:49:11.304325
• Title: E-KAR: A Benchmark for Rationalizing Natural Language Analogical Reasoning
• Title（参考訳）: E-KAR: 自然言語分析推論の合理化のためのベンチマーク
• Authors: Jiangjie Chen, Rui Xu, Ziquan Fu, Wei Shi, Zhongqiao Li, Xinbo Zhang, Changzhi Sun, Lei Li, Yanghua Xiao, Hao Zhou
• Abstract要約: 知識集約型推論ベンチマーク(E-KAR)を提案する。 私たちのベンチマークは、Civil Service Examsから得られた1,655(中国語)と1,251(英語)の問題で構成されています。 提案手法は,類推を記述すべきか否かを記述した自由文説明スキームを設計し,各質問や候補者の回答に対して手作業で注釈を付ける。
• 参考スコア（独自算出の注目度）: 36.133083454829055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to recognize analogies is fundamental to human cognition. Existing benchmarks to test word analogy do not reveal the underneath process of analogical reasoning of neural models. Holding the belief that models capable of reasoning should be right for the right reasons, we propose a first-of-its-kind Explainable Knowledge-intensive Analogical Reasoning benchmark (E-KAR). Our benchmark consists of 1,655 (in Chinese) and 1,251 (in English) problems sourced from the Civil Service Exams, which require intensive background knowledge to solve. More importantly, we design a free-text explanation scheme to explain whether an analogy should be drawn, and manually annotate them for each and every question and candidate answer. Empirical results suggest that this benchmark is very challenging for some state-of-the-art models for both explanation generation and analogical question answering tasks, which invites further research in this area.
• Abstract（参考訳）: アナロジーを認識する能力は、人間の認知の基本である。 単語アナロジーをテストするための既存のベンチマークは、ニューラルネットワークモデルのアナロジー推論の下位プロセスを明らかにしていない。 推論可能なモデルは正しい理由から正しいという信念を保ちながら、第一種知識集約分析推論ベンチマーク(E-KAR)を提案する。 我々のベンチマークは、1,655人(中国語)と1,251人(英語)からなる。 さらに,類推を記述すべきか否かを記述した自由文説明スキームを設計し,各質問や候補者の回答に対して手動で注釈を付ける。 実証的な結果から、このベンチマークは説明生成と類推的な質問応答タスクの両方の最先端モデルにとって非常に困難であることが示唆される。

関連論文リスト

• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• Can language models learn analogical reasoning? Investigating training objectives and comparisons to human performance [0.0]
  我々は、基本的なアナロジー推論を学習するいくつかの方法を試し、特に人間のアナロジー推論を評価するために使われるものよりも典型的なアナロジーに焦点をあてる。 実験の結果,少量のデータであっても,モデルが類似推論を学習できることが判明した。
  論文  参考訳（メタデータ） (2023-10-09T10:34:38Z)
• Beneath Surface Similarity: Large Language Models Make Reasonable Scientific Analogies after Structure Abduction [46.2032673640788]
  人間の認知における類推的推論の不可欠な役割は、共用関係構造を通して親しみやすい概念とリンクすることで、新しい概念を把握できることである。 この研究は、Large Language Models (LLM) がこれらの類似の基盤となる構造をしばしば見落としていることを示唆している。 本稿では,2つのシステム間の類似性を形成する構造を導出するための,認知心理学に基づく類推的構造推論の課題を紹介する。
  論文  参考訳（メタデータ） (2023-05-22T03:04:06Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)
• Understanding Narratives through Dimensions of Analogy [17.68704739786042]
  アナロジカル推論は、人間が二つの状況を接続し、その知識を慣れ親しんだものから新しいものへと一般化する強力なツールである。 アナログによる推論の可能性を持つ現代のスケーラブルなAI技術は、比例アナロジーの特別なケースにのみ適用されている。 本稿では,(1)認知科学研究の熟達した知見に基づいて6次元のアナロジーを形式化し,(2)それぞれの次元でファブルのコーパスを注釈し,(3)AI技術のスケーラブルな評価を可能にする複雑さを増す4つのタスクを定義することによって,ギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2022-06-14T20:56:26Z)
• Prompting Contrastive Explanations for Commonsense Reasoning Tasks [74.7346558082693]
  大規模事前学習言語モデル(PLM)は、常識推論タスクにおいて、ほぼ人間に近い性能を達成することができる。 人間の解釈可能な証拠を生成するために、同じモデルを使う方法を示す。
  論文  参考訳（メタデータ） (2021-06-12T17:06:13Z)
• A Description Logic for Analogical Reasoning [28.259681405091666]
  我々は,類推による推論に依拠する,妥当な知識の欠如を推測するメカニズムを提案する。 これは、記述論理の設定の中でアナログ推論を研究する最初の論文です。
  論文  参考訳（メタデータ） (2021-05-10T19:06:07Z)
• AR-LSAT: Investigating Analytical Reasoning of Text [57.1542673852013]
  テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。 我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
  論文  参考訳（メタデータ） (2021-04-14T02:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。