論文の概要: Scientific and Creative Analogies in Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2211.15268v1
• Date: Mon, 28 Nov 2022 12:49:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 15:20:42.975775
• Title: Scientific and Creative Analogies in Pretrained Language Models
• Title（参考訳）: 事前学習言語モデルにおける科学的・創造的アナロジー
• Authors: Tamara Czinczoll, Helen Yannakoudakis, Pushkar Mishra, Ekaterina Shutova
• Abstract要約: 本稿では,BERT や GPT-2 などの大規模事前学習言語モデルにおけるアナログの符号化について検討する。 我々は,複数の属性の体系的マッピングと異種ドメイン間の関係構造を含む新しいアナロジーデータセットであるScientific and Creative Analogy dataset(SCAN)を紹介する。 現状のLMはこれらの複雑なアナロジータスクにおいて低性能を実現し、アナロジー理解によってもたらされる課題を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 24.86477727507679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper examines the encoding of analogy in large-scale pretrained language models, such as BERT and GPT-2. Existing analogy datasets typically focus on a limited set of analogical relations, with a high similarity of the two domains between which the analogy holds. As a more realistic setup, we introduce the Scientific and Creative Analogy dataset (SCAN), a novel analogy dataset containing systematic mappings of multiple attributes and relational structures across dissimilar domains. Using this dataset, we test the analogical reasoning capabilities of several widely-used pretrained language models (LMs). We find that state-of-the-art LMs achieve low performance on these complex analogy tasks, highlighting the challenges still posed by analogy understanding.
• Abstract（参考訳）: 本稿では,BERT や GPT-2 などの大規模事前学習言語モデルにおけるアナログの符号化について検討する。 既存の類似データセットは、典型的には類似関係の限られた集合に焦点をあて、類似が持つ2つの領域の類似度が高い。 より現実的な設定として、異種ドメイン間の複数の属性と関係構造の体系的なマッピングを含む新しいアナログデータセットであるScientific and Creative Analogy dataset(SCAN)を紹介する。 このデータセットを用いて、広く使われている事前学習言語モデル(LM)の類似推論機能をテストする。 現状のLMはこれらの複雑なアナロジータスクにおいて低性能を実現し、アナロジー理解によってもたらされる課題を浮き彫りにする。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
  大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。 我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
  論文  参考訳（メタデータ） (2023-10-19T16:29:23Z)
• ARN: Analogical Reasoning on Narratives [13.707344123755126]
  我々は、物語要素を用いて表面マッピングとシステムマッピングを作成する、アナロジーの支配的理論を運用するフレームワークを開発する。 すべてのLLMがほぼ類似点を認識できるが、最大でもゼロショット環境では極端に類似点に苦戦している。
  論文  参考訳（メタデータ） (2023-10-02T08:58:29Z)
• Why Do We Need Neuro-symbolic AI to Model Pragmatic Analogies? [6.8107181513711055]
  知性の目印は、慣れ親しんだドメインを使用して、アナログ推論として知られる、あまり親しみのないドメインについての推論を行う能力である。 語彙的類推,構文的類推,意味的類推,実用的類推の4つの異なるレベルにおける類推について論じる。 我々は、統計とシンボルAIを組み合わせたニューロシンボリックAI技術を採用し、構造化されていないテキストの表現を通知し、関連コンテンツを強調し、拡張し、抽象化を提供し、マッピングプロセスを導く。
  論文  参考訳（メタデータ） (2023-08-02T21:13:38Z)
• Beneath Surface Similarity: Large Language Models Make Reasonable Scientific Analogies after Structure Abduction [46.2032673640788]
  人間の認知における類推的推論の不可欠な役割は、共用関係構造を通して親しみやすい概念とリンクすることで、新しい概念を把握できることである。 この研究は、Large Language Models (LLM) がこれらの類似の基盤となる構造をしばしば見落としていることを示唆している。 本稿では,2つのシステム間の類似性を形成する構造を導出するための,認知心理学に基づく類推的構造推論の課題を紹介する。
  論文  参考訳（メタデータ） (2023-05-22T03:04:06Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies? [35.381345454627]
  アナログを識別する教師なしタスクにおいて,トランスフォーマーに基づく言語モデルの性能を解析する。 オフザシェルフ言語モデルは、ある程度の類似を識別できるが、抽象的かつ複雑な関係に苦しむ。 本研究は,学習済み言語モデルがどのように抽象意味関係に関する知識を捉えているか,その程度について,今後の研究に向けて重要な疑問を提起するものである。
  論文  参考訳（メタデータ） (2021-05-11T11:38:49Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Learning to See Analogies: A Connectionist Exploration [0.0]
  この論文は、Analogatorと呼ばれるコンピュータプログラムの開発を通じて、学習と類推の統合を探求している。 多くの異なる類推問題を「見る」ことで、可能な解とともに、アナロゲータは徐々に新しい類推を創り出す能力を発展させている。
  論文  参考訳（メタデータ） (2020-01-18T14:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。