論文の概要: NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge
- arxiv url: http://arxiv.org/abs/2305.04978v2
- Date: Wed, 15 Nov 2023 17:34:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 20:36:08.756241
- Title: NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge
- Title(参考訳): Neurocomparatives:Neuro-Symbolic Distillation of Comparison Knowledge
- Authors: Phillip Howard, Junlin Wang, Vasudev Lal, Gadi Singer, Yejin Choi,
Swabha Swayamdipta
- Abstract要約: GPT-4のような超大規模言語モデルの能力を大幅に向上させることで、比較知識獲得の課題について検討する。
本稿では,言語モデルから過剰に生成される知識蒸留のための新しいフレームワークであるNeuroComparativesを紹介する。
我々のフレームワークは1.74Mのエンティティペアに対して最大8.8Mのコーパスを生成します。
- 参考スコア(独自算出の注目度): 51.04681376353797
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Comparative knowledge (e.g., steel is stronger and heavier than styrofoam) is
an essential component of our world knowledge, yet understudied in prior
literature. In this paper, we study the task of comparative knowledge
acquisition, motivated by the dramatic improvements in the capabilities of
extreme-scale language models like GPT-4, which have fueled efforts towards
harvesting their knowledge into knowledge bases. While acquisition of such
comparative knowledge is much easier from models like GPT-4, compared to their
considerably smaller and weaker counterparts such as GPT-2, not even the most
powerful models are exempt from making errors. We thus ask: to what extent are
models at different scales able to generate valid and diverse comparative
knowledge?
We introduce NeuroComparatives, a novel framework for comparative knowledge
distillation overgenerated from language models such as GPT-variants and Llama,
followed by stringent filtering of the generated knowledge. Our framework
acquires comparative knowledge between everyday objects, producing a corpus of
up to 8.8M comparisons over 1.74M entity pairs - 10X larger and 30% more
diverse than existing resources. Moreover, human evaluations show that
NeuroComparatives outperform existing resources (up to 32% absolute
improvement). We also demonstrate the utility of our distilled
NeuroComparatives on three downstream tasks. Our results show that
neuro-symbolic manipulation of smaller models offer complementary benefits to
the currently dominant practice of prompting extreme-scale language models for
knowledge distillation.
- Abstract(参考訳): 比較知識(例えば、鋼鉄はスチロフォアムよりも強く重く)は我々の世界知識の重要な要素であるが、以前の文献では未熟である。
本稿では,GPT-4のような超大規模言語モデルの能力が劇的に向上し,知識を知識ベースに抽出する取り組みに拍車をかけた,比較知識獲得の課題について考察する。
このような比較知識の獲得は、GPT-4のようなモデルよりもはるかに容易であるが、GPT-2のようなかなり小さく弱いモデルに比べて、最も強力なモデルでさえ誤りを犯すことを免れるわけではない。
異なるスケールのモデルが、有効で多様な比較知識を生成できる範囲は、どの程度あるのか?
我々は, GPT-variants や Llama などの言語モデルから過剰に生成した知識を比較蒸留するための新しいフレームワークであるNeuroComparativesを導入し,続いて生成した知識の厳密なフィルタリングを行う。
我々のフレームワークは、日常のオブジェクト間の比較知識を取得し、最大8.8Mのコーパスを1.74M以上のエンティティペアと比較する。
さらに、人間による評価では、NeuroComparativesは既存のリソース(最大32%の絶対的な改善)を上回っている。
また,3つの下流課題に対して蒸留したNeuroComparativesの有用性を示す。
以上の結果から,小型モデルのニューロシンボリックな操作は,超大規模言語モデルに知識蒸留を促すという現在主流となっている実践に相補的な効果をもたらすことが示唆された。
関連論文リスト
- NovaCOMET: Open Commonsense Foundation Models with Symbolic Knowledge
Distillation [82.85412355714898]
オープン・コモンセンス・ナレッジ・モデルであるNovaCOMETを,知識の最良の側面と一般的なタスク・モデルを組み合わせたオープン・コモンセンス・ナレッジ・モデルとして紹介する。
従来の知識モデルと比較して、NovaCOMETは推論タスクへの直接適用を可能にするオープンフォーマット関係を可能にする。
知識を明示的に重視し、コモンセンス推論の優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-12-10T19:45:24Z) - Forgetting before Learning: Utilizing Parametric Arithmetic for
Knowledge Updating in Large Language Models [53.52344131257681]
本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。
2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
論文 参考訳(メタデータ) (2023-11-14T09:12:40Z) - Distilling Large Language Models for Biomedical Knowledge Extraction: A
Case Study on Adverse Drug Events [17.73671383380315]
本研究では,大規模言語モデル(LLM)が生物医学的知識キュレーションのスケールアップにどのように役立つかを検討する。
コスト,効率,ホワイトボックスモデルアクセスといった付加的なアドバンテージを伴って,アウトオブボックスのLCMよりも大幅に向上できることが判明した。
論文 参考訳(メタデータ) (2023-07-12T20:08:48Z) - Large Language Models, scientific knowledge and factuality: A systematic
analysis in antibiotic discovery [0.0]
本研究では,生物医学的背景知識と対話するための大規模言語モデルの可能性を検討する。
化学化合物定義生成と化学化合物・ファングス関係決定の2つのプロンプトベースタスクにおいて、最先端の10のモデルが試験される。
その結果、最近のモデルでは流布率が改善されているが、実際の精度は依然として低く、表現過剰な実体に偏っていることがわかった。
論文 参考訳(メタデータ) (2023-05-28T22:46:21Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z) - I2D2: Inductive Knowledge Distillation with NeuroLogic and
Self-Imitation [89.38161262164586]
本稿では,ジェネリック生成の課題に着目し,コモンセンス知識の生成モデルについて検討する。
我々は,西欧の記号的知識蒸留を緩やかに追従する新しいコモンセンス蒸留フレームワークであるI2D2を紹介する。
我々の研究はジェネリックの新たなコーパス、Gen-A-tomicに繋がる。
論文 参考訳(メタデータ) (2022-12-19T04:47:49Z) - SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for
Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。
皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。
本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-03-22T06:54:29Z) - DISCOS: Bridging the Gap between Discourse Knowledge and Commonsense
Knowledge [42.08569149041291]
代替コモンセンス知識獲得フレームワーク DISCOS を提案します。
DISCOSは高価なコモンセンス知識をより手頃な言語知識資源に投入する。
我々は,ASERの中核部にATOMICを投入することにより,3.4M ATOMICライクな推論コモンセンス知識を得ることができる。
論文 参考訳(メタデータ) (2021-01-01T03:30:38Z) - Understanding and Improving Knowledge Distillation [13.872105118381938]
知識蒸留(KD)はモデルに依存しない手法であり、固定容量の予算を持ちながらモデル品質を改善する。
本稿では,教師の知識を3つの階層レベルに分類し,その知識蒸留への影響について検討する。
論文 参考訳(メタデータ) (2020-02-10T04:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。