論文の概要: ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base

• arxiv url: http://arxiv.org/abs/2305.05994v2
• Date: Fri, 17 May 2024 07:59:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 20:53:07.311064
• Title: ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base
• Title（参考訳）: ANALOGYKB:百万単位の知識ベースを持つ言語モデルのアナロジー推論をアンロックする
• Authors: Siyu Yuan, Jiangjie Chen, Changzhi Sun, Jiaqing Liang, Yanghua Xiao, Deqing Yang,
• Abstract要約: ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
• 参考スコア（独自算出の注目度）: 51.777618249271725
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Analogical reasoning is a fundamental cognitive ability of humans. However, current language models (LMs) still struggle to achieve human-like performance in analogical reasoning tasks due to a lack of resources for model training. In this work, we address this gap by proposing ANALOGYKB, a million-scale analogy knowledge base (KB) derived from existing knowledge graphs (KGs). ANALOGYKB identifies two types of analogies from the KGs: 1) analogies of the same relations, which can be directly extracted from the KGs, and 2) analogies of analogous relations, which are identified with a selection and filtering pipeline enabled by large language models (LLMs), followed by minor human efforts for data quality control. Evaluations on a series of datasets of two analogical reasoning tasks (analogy recognition and generation) demonstrate that ANALOGYKB successfully enables both smaller LMs and LLMs to gain better analogical reasoning capabilities.
• Abstract（参考訳）: アナロジー推論は人間の基本的な認知能力である。 しかしながら、現在の言語モデル(LM)は、モデルトレーニングのリソースが不足しているため、類似の推論タスクにおいて人間のようなパフォーマンスを達成するのに苦慮している。 本研究では,既存の知識グラフ(KGs)から派生した100万の類似知識ベース(KB)であるANALOGYKBを提案する。 ANALOGYKBは、KGsの2種類の類似を識別する。 1)KGから直接抽出できる同一関係の類似、及び 2) 大規模言語モデル (LLM) によって実現された選択・フィルタリングパイプラインと同一視される類似関係の類推, 続いてデータ品質管理のためのマイナーな人的努力が続く。 2つの類似推論タスク(アナロジー認識と生成)の一連のデータセットの評価により、ANALOGYKBはより小さなLMとLLMの両方がより良い類似推論能力を得ることができることを示した。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• CausalGym: Benchmarking causal interpretability methods on linguistic tasks [52.61917615039112]
  CausalGymを使って、モデル動作に因果的に影響を及ぼす解釈可能性手法のベンチマークを行う。 ピチアモデル (14M--6.9B) について検討し, 幅広い解釈可能性手法の因果効果について検討した。 DASは他の手法よりも優れており、2つの困難な言語現象の学習軌跡の研究に利用している。
  論文  参考訳（メタデータ） (2024-02-19T21:35:56Z)
• StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
  大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。 我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
  論文  参考訳（メタデータ） (2023-10-19T16:29:23Z)
• Can language models learn analogical reasoning? Investigating training objectives and comparisons to human performance [0.0]
  我々は、基本的なアナロジー推論を学習するいくつかの方法を試し、特に人間のアナロジー推論を評価するために使われるものよりも典型的なアナロジーに焦点をあてる。 実験の結果,少量のデータであっても,モデルが類似推論を学習できることが判明した。
  論文  参考訳（メタデータ） (2023-10-09T10:34:38Z)
• ARN: Analogical Reasoning on Narratives [13.707344123755126]
  我々は、物語要素を用いて表面マッピングとシステムマッピングを作成する、アナロジーの支配的理論を運用するフレームワークを開発する。 すべてのLLMがほぼ類似点を認識できるが、最大でもゼロショット環境では極端に類似点に苦戦している。
  論文  参考訳（メタデータ） (2023-10-02T08:58:29Z)
• Beneath Surface Similarity: Large Language Models Make Reasonable Scientific Analogies after Structure Abduction [46.2032673640788]
  人間の認知における類推的推論の不可欠な役割は、共用関係構造を通して親しみやすい概念とリンクすることで、新しい概念を把握できることである。 この研究は、Large Language Models (LLM) がこれらの類似の基盤となる構造をしばしば見落としていることを示唆している。 本稿では,2つのシステム間の類似性を形成する構造を導出するための,認知心理学に基づく類推的構造推論の課題を紹介する。
  論文  参考訳（メタデータ） (2023-05-22T03:04:06Z)
• Scientific and Creative Analogies in Pretrained Language Models [24.86477727507679]
  本稿では,BERT や GPT-2 などの大規模事前学習言語モデルにおけるアナログの符号化について検討する。 我々は,複数の属性の体系的マッピングと異種ドメイン間の関係構造を含む新しいアナロジーデータセットであるScientific and Creative Analogy dataset(SCAN)を紹介する。 現状のLMはこれらの複雑なアナロジータスクにおいて低性能を実現し、アナロジー理解によってもたらされる課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2022-11-28T12:49:44Z)
• Analogy Generation by Prompting Large Language Models: A Case Study of InstructGPT [47.81902362511172]
  本稿では,アナログ生成のための事前学習言語モデル(PLM)を提案する。 我々は,インストラクションGPTに意味のあるアナロジーを生成させることが可能であり,最も優れたプロンプトは正確な命令文である傾向があることを発見した。 また、生成したアナログの1.4kに対して人的評価を行い、世代ごとの質がモデルサイズによって大きく異なることを示した。
  論文  参考訳（メタデータ） (2022-10-09T06:35:14Z)
• Tackling Morphological Analogies Using Deep Learning -- Extended Version [8.288496996031684]
  分析比例は "A is to B as C is to D" という形の言明である 本稿では,Deep Learningを用いて形態的類似を検知し,解決する手法を提案する。 複数の言語にまたがる類似検出と分解能において,本モデルの競合性能を実証する。
  論文  参考訳（メタデータ） (2021-11-09T13:45:23Z)
• BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies? [35.381345454627]
  アナログを識別する教師なしタスクにおいて,トランスフォーマーに基づく言語モデルの性能を解析する。 オフザシェルフ言語モデルは、ある程度の類似を識別できるが、抽象的かつ複雑な関係に苦しむ。 本研究は,学習済み言語モデルがどのように抽象意味関係に関する知識を捉えているか,その程度について,今後の研究に向けて重要な疑問を提起するものである。
  論文  参考訳（メタデータ） (2021-05-11T11:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。