論文の概要: Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting

• arxiv url: http://arxiv.org/abs/2412.00869v1
• Date: Sun, 01 Dec 2024 16:15:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:40.761068
• Title: Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting
• Title（参考訳）: 知識強化型プロンプティングによる局所的アナロジーを解くための大規模言語モデルの能力を探る
• Authors: Thilini Wijesiriwardene, Ruwan Wickramarachchi, Sreeram Vennam, Vinija Jain, Aman Chadha, Amitava Das, Ponnurangam Kumaraguru, Amit Sheth,
• Abstract要約: 比例アナロジー補完のための15K多重質問回答データセットを提案する。 様々な知識を付加したプロンプト設定において,現代大規模言語モデル(LLM)の性能を評価する。
• 参考スコア（独自算出の注目度）: 11.644472366036542
• License:
• Abstract: Making analogies is fundamental to cognition. Proportional analogies, which consist of four terms, are often used to assess linguistic and cognitive abilities. For instance, completing analogies like "Oxygen is to Gas as <blank> is to <blank>" requires identifying the semantic relationship (e.g., "type of") between the first pair of terms ("Oxygen" and "Gas") and finding a second pair that shares the same relationship (e.g., "Aluminum" and "Metal"). In this work, we introduce a 15K Multiple-Choice Question Answering (MCQA) dataset for proportional analogy completion and evaluate the performance of contemporary Large Language Models (LLMs) in various knowledge-enhanced prompt settings. Specifically, we augment prompts with three types of knowledge: exemplar, structured, and targeted. Our results show that despite extensive training data, solving proportional analogies remains challenging for current LLMs, with the best model achieving an accuracy of 55%. Notably, we find that providing targeted knowledge can better assist models in completing proportional analogies compared to providing exemplars or collections of structured knowledge.
• Abstract（参考訳）: 類推は認識の基本である。 4つの用語からなる比例的な類推は、言語的・認知的能力を評価するためにしばしば用いられる。 例えば、"Oxygen is is to Gas as <blank> is to <blank>" のような類似は、"Oxygen" と "Gas" の間の意味的関係(例: "type of")を識別し、同じ関係(例: "Aluminum" と "Metal" )を共有する2番目の対を見つける必要がある。 本研究では,比例的類似度を補完するMCQA(Multiple-Choice Question Answering)データセットを導入し,様々な知識を付加したプロンプト設定において,現代大規模言語モデル(LLM)の性能評価を行う。 具体的には、前例、構造化、ターゲットの3種類の知識でプロンプトを強化します。 以上の結果から,従来のLLMでは比例類似の解法は依然として困難であり,精度は55%であることがわかった。 特に、対象とする知識を提供することは、構造化された知識の例やコレクションを提供するよりも、比例的な類似性を完成させるモデルを支援することができる。

関連論文リスト

• Context versus Prior Knowledge in Language Models [49.17879668110546]
  言語モデルは、事前学習中に学んだ事前知識と、文脈で提示された新しい情報を統合する必要があることが多い。 本稿では,モデルがコンテキストと先行するエンティティへの依存性を測定するための2つの相互情報ベースメトリクスを提案する。
  論文  参考訳（メタデータ） (2024-04-06T13:46:53Z)
• StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
  大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。 我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
  論文  参考訳（メタデータ） (2023-10-19T16:29:23Z)
• ARN: Analogical Reasoning on Narratives [13.707344123755126]
  我々は、物語要素を用いて表面マッピングとシステムマッピングを作成する、アナロジーの支配的理論を運用するフレームワークを開発する。 すべてのLLMがほぼ類似点を認識できるが、最大でもゼロショット環境では極端に類似点に苦戦している。
  論文  参考訳（メタデータ） (2023-10-02T08:58:29Z)
• Physics of Language Models: Part 3.2, Knowledge Manipulation [51.68385617116854]
  本稿では,4つの基本的な知識操作タスクについて検討する。 言語モデルは知識検索に優れるが、最も単純な分類や比較タスクにも耐え難い。 また, GPT-4のような近代的な事前学習言語モデルにも適用できる。
  論文  参考訳（メタデータ） (2023-09-25T17:50:41Z)
• Why Do We Need Neuro-symbolic AI to Model Pragmatic Analogies? [6.8107181513711055]
  知性の目印は、慣れ親しんだドメインを使用して、アナログ推論として知られる、あまり親しみのないドメインについての推論を行う能力である。 語彙的類推,構文的類推,意味的類推,実用的類推の4つの異なるレベルにおける類推について論じる。 我々は、統計とシンボルAIを組み合わせたニューロシンボリックAI技術を採用し、構造化されていないテキストの表現を通知し、関連コンテンツを強調し、拡張し、抽象化を提供し、マッピングプロセスを導く。
  論文  参考訳（メタデータ） (2023-08-02T21:13:38Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• Analogy Generation by Prompting Large Language Models: A Case Study of InstructGPT [47.81902362511172]
  本稿では,アナログ生成のための事前学習言語モデル(PLM)を提案する。 我々は,インストラクションGPTに意味のあるアナロジーを生成させることが可能であり,最も優れたプロンプトは正確な命令文である傾向があることを発見した。 また、生成したアナログの1.4kに対して人的評価を行い、世代ごとの質がモデルサイズによって大きく異なることを示した。
  論文  参考訳（メタデータ） (2022-10-09T06:35:14Z)
• BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies? [35.381345454627]
  アナログを識別する教師なしタスクにおいて,トランスフォーマーに基づく言語モデルの性能を解析する。 オフザシェルフ言語モデルは、ある程度の類似を識別できるが、抽象的かつ複雑な関係に苦しむ。 本研究は,学習済み言語モデルがどのように抽象意味関係に関する知識を捉えているか,その程度について,今後の研究に向けて重要な疑問を提起するものである。
  論文  参考訳（メタデータ） (2021-05-11T11:38:49Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。