論文の概要: ARN: A Comprehensive Framework and Dataset for Analogical Reasoning on
Narratives
- arxiv url: http://arxiv.org/abs/2310.00996v1
- Date: Mon, 2 Oct 2023 08:58:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 22:54:20.840194
- Title: ARN: A Comprehensive Framework and Dataset for Analogical Reasoning on
Narratives
- Title（参考訳）: ARN: ナラティブに関するアナロジー推論のための総合的なフレームワークとデータセット
- Authors: Zhivar Sourati, Filip Ilievski, Pia Sommerauer
- Abstract要約: アナロジカル推論は人間の主要な能力の1つであり、創造性や科学的発見と結びついている。
本研究では,この課題に対して異なる大規模言語モデル (LLM) を評価する。
- 参考スコア（独自算出の注目度）: 11.797649762301395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Analogical reasoning is one of the prime abilities of humans and is linked to
creativity and scientific discoveries. This ability has been studied
extensively in natural language processing (NLP) as well as in cognitive
psychology by proposing various benchmarks and evaluation setups. Yet, a
substantial gap exists between evaluations of analogical reasoning in cognitive
psychology and NLP. Our aim is to bridge this by computationally adapting
theories related to analogical reasoning from cognitive psychology in the
context of narratives and developing an evaluation framework large in scale.
More concretely, we propose the task of matching narratives based on system
mappings and release the Analogical Reasoning on Narratives (ARN) dataset. To
create the dataset, we devise a framework inspired by cognitive psychology
theories about analogical reasoning to utilize narratives and their components
to form mappings of different abstractness levels. These mappings are then
leveraged to create pairs of analogies and disanalogies/distractors with more
than 1k triples of query narratives, analogies, and distractors. We cover four
categories of far/near analogies and far/near distractors that allow us to
study analogical reasoning in models from distinct perspectives. In this study,
we evaluate different large language models (LLMs) on this task. Our results
demonstrate that LLMs struggle to recognize higher-order mappings when they are
not accompanied by lower-order mappings (far analogies) and show better
performance when all mappings are present simultaneously (near analogies). We
observe that in all the settings, the analogical reasoning abilities of LLMs
can be easily impaired by near distractors that form lower-order mappings with
the query narratives.
- Abstract（参考訳）: アナロジー推論は人間の主要な能力の1つであり、創造性や科学的発見と結びついている。
この能力は、自然言語処理(NLP)や認知心理学において、様々なベンチマークや評価設定を提案して広く研究されている。
しかし、認知心理学とNLPにおける類似推論の評価の間にはかなりのギャップがある。
本研究の目的は,ナラティブの文脈における認知心理学からの類推的推論に関する理論の計算的適応と,大規模評価フレームワークの開発である。
より具体的には,システムマッピングに基づくナラティブマッチングの課題を提案し,ナラティブスデータセットを用いたアナロジカル推論(Analogical Reasoning on Narratives,ARN)をリリースする。
データセットを作成するために,類推的推論に関する認知心理学理論に触発された枠組みを考案し,物語とその構成要素を用いて異なる抽象度レベルのマッピングを形成する。
これらのマッピングは、1k以上のクエリナラティブ、アナロジー、気晴らしを持つアナロジーとアナロジ/ディストラクタのペアを作成するために利用される。
遠/遠類似の4つのカテゴリと遠/遠類似の4つのカテゴリをカバーし、異なる視点からモデルの類似推論を研究することができる。
本研究では,この課題に対して異なる大規模言語モデル (LLM) を評価する。
その結果,LLMは低階写像を伴わない場合の高階写像の認識に苦慮し,全ての写像が同時に存在する場合(類似しない場合)の性能が向上することを示した。
すべての設定において、LLMの類似推論能力は、クエリー・ナラティブと下位階のマッピングを形成するニア・トラクタによって容易に損なわれる。
関連論文リスト
- Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳（メタデータ） (2024-05-10T17:11:31Z) - StoryAnalogy: Deriving Story-level Analogies from Large Language Models
to Unlock Analogical Understanding [72.38872974837462]
大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。
textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。
我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
論文 参考訳（メタデータ） (2023-10-19T16:29:23Z) - Why Do We Need Neuro-symbolic AI to Model Pragmatic Analogies? [6.8107181513711055]
知性の目印は、慣れ親しんだドメインを使用して、アナログ推論として知られる、あまり親しみのないドメインについての推論を行う能力である。
語彙的類推,構文的類推,意味的類推,実用的類推の4つの異なるレベルにおける類推について論じる。
我々は、統計とシンボルAIを組み合わせたニューロシンボリックAI技術を採用し、構造化されていないテキストの表現を通知し、関連コンテンツを強調し、拡張し、抽象化を提供し、マッピングプロセスを導く。
論文 参考訳（メタデータ） (2023-08-02T21:13:38Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳（メタデータ） (2023-06-21T07:34:27Z) - Beneath Surface Similarity: Large Language Models Make Reasonable
Scientific Analogies after Structure Abduction [46.2032673640788]
人間の認知における類推的推論の不可欠な役割は、共用関係構造を通して親しみやすい概念とリンクすることで、新しい概念を把握できることである。
この研究は、Large Language Models (LLM) がこれらの類似の基盤となる構造をしばしば見落としていることを示唆している。
本稿では,2つのシステム間の類似性を形成する構造を導出するための,認知心理学に基づく類推的構造推論の課題を紹介する。
論文 参考訳（メタデータ） (2023-05-22T03:04:06Z) - ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである
1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
論文 参考訳（メタデータ） (2023-05-10T09:03:01Z) - Scientific and Creative Analogies in Pretrained Language Models [24.86477727507679]
本稿では,BERT や GPT-2 などの大規模事前学習言語モデルにおけるアナログの符号化について検討する。
我々は,複数の属性の体系的マッピングと異種ドメイン間の関係構造を含む新しいアナロジーデータセットであるScientific and Creative Analogy dataset(SCAN)を紹介する。
現状のLMはこれらの複雑なアナロジータスクにおいて低性能を実現し、アナロジー理解によってもたらされる課題を浮き彫りにしている。
論文 参考訳（メタデータ） (2022-11-28T12:49:44Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳（メタデータ） (2020-07-23T14:00:34Z) - Analogy as Nonparametric Bayesian Inference over Relational Systems [10.736626320566705]
本稿では,従来の関係構造からの予測を類似的に重み付けすることで,関係知識を新しい環境に一般化するベイズモデルを提案する。
この学習者は, 環境経験が小さい場合に, ランダム・ウィキペディア・システムから派生した関係データに基づいて, ナイーブな理論に基づく学習者より優れていることを示す。
論文 参考訳（メタデータ） (2020-06-07T14:07:46Z) - Learning to See Analogies: A Connectionist Exploration [0.0]
この論文は、Analogatorと呼ばれるコンピュータプログラムの開発を通じて、学習と類推の統合を探求している。
多くの異なる類推問題を「見る」ことで、可能な解とともに、アナロゲータは徐々に新しい類推を創り出す能力を発展させている。
論文 参考訳（メタデータ） (2020-01-18T14:06:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。