論文の概要: ARN: Analogical Reasoning on Narratives
- arxiv url: http://arxiv.org/abs/2310.00996v3
- Date: Tue, 23 Apr 2024 01:16:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 19:55:12.593639
- Title: ARN: Analogical Reasoning on Narratives
- Title(参考訳): ARN: ナラティブに関するアナロジカル推論
- Authors: Zhivar Sourati, Filip Ilievski, Pia Sommerauer, Yifan Jiang,
- Abstract要約: 我々は、物語要素を用いて表面マッピングとシステムマッピングを作成する、アナロジーの支配的理論を運用するフレームワークを開発する。
すべてのLLMがほぼ類似点を認識できるが、最大でもゼロショット環境では極端に類似点に苦戦している。
- 参考スコア(独自算出の注目度): 13.707344123755126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a core cognitive skill that enables the transferability of information across domains, analogical reasoning has been extensively studied for both humans and computational models. However, while cognitive theories of analogy often focus on narratives and study the distinction between surface, relational, and system similarities, existing work in natural language processing has a narrower focus as far as relational analogies between word pairs. This gap brings a natural question: can state-of-the-art large language models (LLMs) detect system analogies between narratives? To gain insight into this question and extend word-based relational analogies to relational system analogies, we devise a comprehensive computational framework that operationalizes dominant theories of analogy, using narrative elements to create surface and system mappings. Leveraging the interplay between these mappings, we create a binary task and benchmark for Analogical Reasoning on Narratives (ARN), covering four categories of far (cross-domain)/near (within-domain) analogies and disanalogies. We show that while all LLMs can largely recognize near analogies, even the largest ones struggle with far analogies in a zero-shot setting, with GPT4.0 scoring below random. Guiding the models through solved examples and chain-of-thought reasoning enhances their analogical reasoning ability. Yet, since even in the few-shot setting, the best model only performs halfway between random and humans, ARN opens exciting directions for computational analogical reasoners.
- Abstract(参考訳): ドメイン間の情報の伝達性を可能にするコア認知技術として、人間と計算モデルの両方でアナログ推論が広く研究されている。
しかしながら、アナロジーの認知理論は、しばしば物語に焦点をあて、表面、関係性、およびシステム類似性の違いを研究するが、自然言語処理における既存の研究は、単語ペア間の関係類似性に関してより限定的な焦点を持つ。
最先端の大規模言語モデル(LLM)は、物語間のシステム類似性を検出できるだろうか?
そこで我々は,この疑問に対する洞察を得るとともに,単語ベースの関係的類似語を関係系類似語に拡張するために,ナラティブ要素を用いて,類似語の主要な理論を運用する包括的計算フレームワークを考案した。
これらのマッピング間の相互作用を活用して、Narratives (ARN) に関するアナロジ的推論のためのバイナリタスクとベンチマークを作成し、遠方(クロスドメイン)/近方(非ドメイン)のアナロジーと非アナロジーの4つのカテゴリをカバーする。
すべてのLLMがほぼ類似点を認識できるが、最大のものでさえゼロショット設定では極端に類似点に苦戦し、GPT4.0はランダムにスコアが下がった。
解決された例と連鎖推論を通してモデルを導くことは、類似の推論能力を高める。
しかし、数ショットのセッティングであっても、最良のモデルはランダムと人間の間の中間でしか動作しないため、ARNは計算的なアナログ推論のためにエキサイティングな方向を開く。
関連論文リスト
- AnaloBench: Benchmarking the Identification of Abstract and Long-context
Analogies [20.35137053775108]
アナロジー思考は、人間が創造的な方法で問題を解決し、難しい概念を把握し、より効果的にアイデアを表現できるようにする。
言語モデル(LM)における類似推論能力を決定するベンチマークAnALOBENCHを提案する。
我々のベンチマーク手法は、人間に共通するこの能力の側面に焦点を当てている: (i) 大量の情報から関連する経験を思い出し、 (ii) 複雑で長いシナリオに類推的推論を適用する。
論文 参考訳(メタデータ) (2024-02-19T18:56:44Z) - StoryAnalogy: Deriving Story-level Analogies from Large Language Models
to Unlock Analogical Understanding [72.38872974837462]
大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。
textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。
我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
論文 参考訳(メタデータ) (2023-10-19T16:29:23Z) - Can language models learn analogical reasoning? Investigating training
objectives and comparisons to human performance [0.0]
我々は、基本的なアナロジー推論を学習するいくつかの方法を試し、特に人間のアナロジー推論を評価するために使われるものよりも典型的なアナロジーに焦点をあてる。
実験の結果,少量のデータであっても,モデルが類似推論を学習できることが判明した。
論文 参考訳(メタデータ) (2023-10-09T10:34:38Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Why Do We Need Neuro-symbolic AI to Model Pragmatic Analogies? [6.8107181513711055]
知性の目印は、慣れ親しんだドメインを使用して、アナログ推論として知られる、あまり親しみのないドメインについての推論を行う能力である。
語彙的類推,構文的類推,意味的類推,実用的類推の4つの異なるレベルにおける類推について論じる。
我々は、統計とシンボルAIを組み合わせたニューロシンボリックAI技術を採用し、構造化されていないテキストの表現を通知し、関連コンテンツを強調し、拡張し、抽象化を提供し、マッピングプロセスを導く。
論文 参考訳(メタデータ) (2023-08-02T21:13:38Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳(メタデータ) (2023-06-21T07:34:27Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳(メタデータ) (2023-05-24T07:33:34Z) - Beneath Surface Similarity: Large Language Models Make Reasonable
Scientific Analogies after Structure Abduction [46.2032673640788]
人間の認知における類推的推論の不可欠な役割は、共用関係構造を通して親しみやすい概念とリンクすることで、新しい概念を把握できることである。
この研究は、Large Language Models (LLM) がこれらの類似の基盤となる構造をしばしば見落としていることを示唆している。
本稿では,2つのシステム間の類似性を形成する構造を導出するための,認知心理学に基づく類推的構造推論の課題を紹介する。
論文 参考訳(メタデータ) (2023-05-22T03:04:06Z) - Zero-Shot Classification by Logical Reasoning on Natural Language
Explanations [56.42922904777717]
我々はCLOREフレームワークを提案する(説明の論理的推論による分類)。
CLOREは、説明を論理構造にパースし、入力のthess構造に沿って明示的に理由付け、分類スコアを生成する。
また、我々のフレームワークは視覚的モダリティのゼロショット分類にまで拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-11-07T01:05:11Z) - Understanding Narratives through Dimensions of Analogy [17.68704739786042]
アナロジカル推論は、人間が二つの状況を接続し、その知識を慣れ親しんだものから新しいものへと一般化する強力なツールである。
アナログによる推論の可能性を持つ現代のスケーラブルなAI技術は、比例アナロジーの特別なケースにのみ適用されている。
本稿では,(1)認知科学研究の熟達した知見に基づいて6次元のアナロジーを形式化し,(2)それぞれの次元でファブルのコーパスを注釈し,(3)AI技術のスケーラブルな評価を可能にする複雑さを増す4つのタスクを定義することによって,ギャップを埋めることを目的とする。
論文 参考訳(メタデータ) (2022-06-14T20:56:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。