論文の概要: ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A
Million-scale Knowledge Base
- arxiv url: http://arxiv.org/abs/2305.05994v1
- Date: Wed, 10 May 2023 09:03:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 13:49:44.374737
- Title: ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A
Million-scale Knowledge Base
- Title(参考訳): ANALOGYKB:百万単位の知識ベースを持つ言語モデルの論理推論
- Authors: Siyu Yuan, Jiangjie Chen, Changzhi Sun, Jiaqing Liang, Yanghua Xiao,
Deqing Yang
- Abstract要約: 既存の知識グラフ(KGs)から派生した100万規模の類似知識ベース(KB)であるANALOGYKBを提案する。
ANALOGYKBは、KGsから直接抽出できる同一関係のアナログと、大きなLMで可能となる選択とフィルタリングパイプラインで識別される類似関係のアナログである。
- 参考スコア(独自算出の注目度): 22.606064986021412
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Analogical reasoning is a fundamental cognitive ability of humans. However,
current language models (LMs) still struggle to achieve human-like performance
in analogical reasoning tasks due to a lack of resources for model training. In
this work, we address this gap by proposing ANALOGYKB, a million-scale analogy
knowledge base (KB) derived from existing knowledge graphs (KGs). ANALOGYKB
identifies two types of analogies from the KGs: 1) analogies of the same
relations, which can be directly extracted from the KGs, and 2) analogies of
analogous relations, which are identified with a selection and filtering
pipeline enabled by large LMs (InstructGPT), followed by minor human efforts
for data quality control. Evaluations on a series of datasets of two analogical
reasoning tasks (analogy recognition and generation) demonstrate that ANALOGYKB
successfully enables LMs to achieve much better results than previous
state-of-the-art methods.
- Abstract(参考訳): アナロジー推論は人間の基本的な認知能力である。
しかしながら、現在の言語モデル(LM)は、モデルトレーニングのリソースが不足しているため、アナログ推論タスクにおいて人間のようなパフォーマンスを達成するのに苦慮している。
本研究では,既存の知識グラフ(KGs)から派生した100万の類似知識ベース(KB)であるANALOGYKBを提案する。
analogykbはkgsから2種類のアナロジーを識別する。
1) kgsから直接抽出できる同一の関係の類似性,及び
2) 大規模LM(InstructGPT)によって実現された選択・フィルタリングパイプラインと同一視される類似関係の類推, 続いてデータ品質管理への人的取り組み。
2つの類似推論タスク(アナロジー認識と生成)の一連のデータセットの評価により、ANALOGYKBは従来の最先端手法よりも優れた結果が得られることを示した。
関連論文リスト
- CausalGym: Benchmarking causal interpretability methods on linguistic
tasks [52.61917615039112]
CausalGymを使って、モデル動作に因果的に影響を及ぼす解釈可能性手法のベンチマークを行う。
ピチアモデル (14M--6.9B) について検討し, 幅広い解釈可能性手法の因果効果について検討した。
DASは他の手法よりも優れており、2つの困難な言語現象の学習軌跡の研究に利用している。
論文 参考訳(メタデータ) (2024-02-19T21:35:56Z) - StoryAnalogy: Deriving Story-level Analogies from Large Language Models
to Unlock Analogical Understanding [72.38872974837462]
大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。
textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。
我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
論文 参考訳(メタデータ) (2023-10-19T16:29:23Z) - Can language models learn analogical reasoning? Investigating training
objectives and comparisons to human performance [0.0]
我々は、基本的なアナロジー推論を学習するいくつかの方法を試し、特に人間のアナロジー推論を評価するために使われるものよりも典型的なアナロジーに焦点をあてる。
実験の結果,少量のデータであっても,モデルが類似推論を学習できることが判明した。
論文 参考訳(メタデータ) (2023-10-09T10:34:38Z) - Solving morphological analogies: from retrieval to generation [1.7132914341329848]
分析推論は人間の推論の能力であり、難解な推論タスクの解決に用いられてきた。
本稿では,ARにおける2つの重要な課題である類似検出と解決に対処し,対処するためのディープラーニング(DL)フレームワークを提案する。
このフレームワークは、単語間の形態的類似比(APs)のSiganalogiesデータセットで徹底的にテストされ、多くの言語においてシンボル的アプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-03-30T12:36:46Z) - Scientific and Creative Analogies in Pretrained Language Models [24.86477727507679]
本稿では,BERT や GPT-2 などの大規模事前学習言語モデルにおけるアナログの符号化について検討する。
我々は,複数の属性の体系的マッピングと異種ドメイン間の関係構造を含む新しいアナロジーデータセットであるScientific and Creative Analogy dataset(SCAN)を紹介する。
現状のLMはこれらの複雑なアナロジータスクにおいて低性能を実現し、アナロジー理解によってもたらされる課題を浮き彫りにしている。
論文 参考訳(メタデータ) (2022-11-28T12:49:44Z) - Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。
我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
論文 参考訳(メタデータ) (2022-10-17T18:02:52Z) - Analogy Generation by Prompting Large Language Models: A Case Study of
InstructGPT [47.81902362511172]
本稿では,アナログ生成のための事前学習言語モデル(PLM)を提案する。
我々は,インストラクションGPTに意味のあるアナロジーを生成させることが可能であり,最も優れたプロンプトは正確な命令文である傾向があることを発見した。
また、生成したアナログの1.4kに対して人的評価を行い、世代ごとの質がモデルサイズによって大きく異なることを示した。
論文 参考訳(メタデータ) (2022-10-09T06:35:14Z) - Tackling Morphological Analogies Using Deep Learning -- Extended Version [8.288496996031684]
分析比例は "A is to B as C is to D" という形の言明である
本稿では,Deep Learningを用いて形態的類似を検知し,解決する手法を提案する。
複数の言語にまたがる類似検出と分解能において,本モデルの競合性能を実証する。
論文 参考訳(メタデータ) (2021-11-09T13:45:23Z) - BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models
Identify Analogies? [35.381345454627]
アナログを識別する教師なしタスクにおいて,トランスフォーマーに基づく言語モデルの性能を解析する。
オフザシェルフ言語モデルは、ある程度の類似を識別できるが、抽象的かつ複雑な関係に苦しむ。
本研究は,学習済み言語モデルがどのように抽象意味関係に関する知識を捉えているか,その程度について,今後の研究に向けて重要な疑問を提起するものである。
論文 参考訳(メタデータ) (2021-05-11T11:38:49Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳(メタデータ) (2020-07-23T14:00:34Z) - A Simple Approach to Case-Based Reasoning in Knowledge Bases [56.661396189466664]
我々は,古典人工知能(AI)におけるケースベース推論を想起させる,アンフノトレーニングを必要とする知識グラフ(KG)における推論に対する驚くほど単純かつ正確なアプローチを提案する。
ソースエンティティとバイナリ関係が与えられたターゲットエンティティを見つけるタスクを考えてみましょう。
我々の非パラメトリックなアプローチは、与えられた関係を通して類似したソースエンティティを接続する複数のテキストトグラフパスパターンを見つけることによって、クエリ毎にクレープな論理ルールを導出します。
論文 参考訳(メタデータ) (2020-06-25T06:28:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。