論文の概要: ARN: A Comprehensive Framework and Benchmark for Analogical Reasoning on Narratives

• arxiv url: http://arxiv.org/abs/2310.00996v2
• Date: Sat, 2 Dec 2023 13:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 21:55:42.900557
• Title: ARN: A Comprehensive Framework and Benchmark for Analogical Reasoning on Narratives
• Title（参考訳）: ARN: ナラティブに関するアナロジー推論のための総合的なフレームワークとベンチマーク
• Authors: Zhivar Sourati, Filip Ilievski, Pia Sommerauer, Yifan Jiang
• Abstract要約: アナロジカル推論は人間の主要な能力の1つであり、創造性や科学的発見と結びついている。 この能力は自然言語処理(NLP)や認知心理学において広く研究されている。 我々は、物語要素を利用した物語の類似的推論のための評価フレームワークを作成し、低階と高階のマッピングを作成する。
• 参考スコア（独自算出の注目度）: 14.974288726314732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analogical reasoning is one of the prime abilities of humans and is linked to creativity and scientific discoveries. This ability has been studied extensively in natural language processing (NLP) and in cognitive psychology. NLP benchmarks often focus on proportional analogies, while the ones in cognitive psychology investigate longer pieces of text too. Yet, although studies that focus on analogical reasoning in an involved setting utilize narratives as their evaluation medium, analogical reasoning on narratives has not been studied extensively. We create an extensive evaluation framework for analogical reasoning on narratives that utilizes narrative elements to create lower-order and higher-order mappings that subsequently lead to the development of the Analogical Reasoning on Narratives (ARN) benchmark that covers four categories of far(cross-domain)/near(within-domain) analogies and far/near disanalogies, allowing us to study analogical reasoning in LLMs in distinct scenarios. Our results demonstrate that LLMs struggle to recognize higher-order mappings when they are not accompanied by lower-order mappings (far analogies) and show better performance when all mappings are formed simultaneously (near analogies). We observe that in all the scenarios, the analogical reasoning abilities of LLMs can be easily impaired by lower-order mappings in near disanalogies.
• Abstract（参考訳）: アナロジー推論は人間の主要な能力の1つであり、創造性や科学的発見と結びついている。 この能力は自然言語処理(nlp)や認知心理学で広く研究されている。 NLPベンチマークは、しばしば比例類似にフォーカスするが、認知心理学のベンチマークは、長いテキストも調査する。 しかし、関連する設定における類推に焦点をあてた研究は物語を評価媒体として活用しているが、類推論は広く研究されていない。 我々は,物語に関するアナロジー推論のための広範な評価フレームワークを作成し,ナラティブ要素を利用して低次・高次マッピングを作成し,その後,far(cross-domain)/near(within-domain)アナログとfar/near非アナロジーの4つのカテゴリをカバーするアナロジー推論(arn)ベンチマークの開発に繋がる。 その結果,低次写像が伴わない場合(ファーアナロジー)にllmは高次写像を認識するのに苦労し,全ての写像が同時に形成される場合(近傍アナロジー)に優れた性能を示すことがわかった。 すべてのシナリオにおいて、LLMの類似推論能力は、近距離アナロジーにおける低階写像によって容易に損なわれる。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
  大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。 我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
  論文  参考訳（メタデータ） (2023-10-19T16:29:23Z)
• Why Do We Need Neuro-symbolic AI to Model Pragmatic Analogies? [6.8107181513711055]
  知性の目印は、慣れ親しんだドメインを使用して、アナログ推論として知られる、あまり親しみのないドメインについての推論を行う能力である。 語彙的類推,構文的類推,意味的類推,実用的類推の4つの異なるレベルにおける類推について論じる。 我々は、統計とシンボルAIを組み合わせたニューロシンボリックAI技術を採用し、構造化されていないテキストの表現を通知し、関連コンテンツを強調し、拡張し、抽象化を提供し、マッピングプロセスを導く。
  論文  参考訳（メタデータ） (2023-08-02T21:13:38Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• Beneath Surface Similarity: Large Language Models Make Reasonable Scientific Analogies after Structure Abduction [46.2032673640788]
  人間の認知における類推的推論の不可欠な役割は、共用関係構造を通して親しみやすい概念とリンクすることで、新しい概念を把握できることである。 この研究は、Large Language Models (LLM) がこれらの類似の基盤となる構造をしばしば見落としていることを示唆している。 本稿では,2つのシステム間の類似性を形成する構造を導出するための,認知心理学に基づく類推的構造推論の課題を紹介する。
  論文  参考訳（メタデータ） (2023-05-22T03:04:06Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• Scientific and Creative Analogies in Pretrained Language Models [24.86477727507679]
  本稿では,BERT や GPT-2 などの大規模事前学習言語モデルにおけるアナログの符号化について検討する。 我々は,複数の属性の体系的マッピングと異種ドメイン間の関係構造を含む新しいアナロジーデータセットであるScientific and Creative Analogy dataset(SCAN)を紹介する。 現状のLMはこれらの複雑なアナロジータスクにおいて低性能を実現し、アナロジー理解によってもたらされる課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2022-11-28T12:49:44Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Analogy as Nonparametric Bayesian Inference over Relational Systems [10.736626320566705]
  本稿では,従来の関係構造からの予測を類似的に重み付けすることで,関係知識を新しい環境に一般化するベイズモデルを提案する。 この学習者は, 環境経験が小さい場合に, ランダム・ウィキペディア・システムから派生した関係データに基づいて, ナイーブな理論に基づく学習者より優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-07T14:07:46Z)
• Learning to See Analogies: A Connectionist Exploration [0.0]
  この論文は、Analogatorと呼ばれるコンピュータプログラムの開発を通じて、学習と類推の統合を探求している。 多くの異なる類推問題を「見る」ことで、可能な解とともに、アナロゲータは徐々に新しい類推を創り出す能力を発展させている。
  論文  参考訳（メタデータ） (2020-01-18T14:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。