論文の概要: NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge
- arxiv url: http://arxiv.org/abs/2305.04978v1
- Date: Mon, 8 May 2023 18:20:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 14:40:58.044504
- Title: NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge
- Title（参考訳）: Neurocomparatives:Neuro-Symbolic Distillation of Comparison Knowledge
- Authors: Phillip Howard, Junlin Wang, Vasudev Lal, Gadi Singer, Yejin Choi,
Swabha Swayamdipta
- Abstract要約: 我々は,語彙制約付きデコードを用いた知識蒸留のための新しいフレームワークであるNeuroComparativesを紹介した。
本フレームワークは,日常オブジェクト間の比較知識を取得し,その結果,1.74万以上のエンティティペアに対して8.7Mのコーパスが得られた。
人間による評価によると、NeuroComparativesは100倍の小さなモデルを使用しても、GPT-3を含む既存のリソースよりも優れている。
- 参考スコア（独自算出の注目度）: 51.86502465038712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Comparative knowledge (e.g., steel is stronger and heavier than styrofoam) is
an essential component of our world knowledge, yet understudied in prior
literature. In this paper, we study the task of comparative knowledge
acquisition, motivated by the dramatic improvements in the capabilities of
extreme-scale language models like GPT-3, which have fueled efforts towards
harvesting their knowledge into knowledge bases. However, access to inference
API for such models is limited, thereby restricting the scope and the diversity
of the knowledge acquisition. We thus ask a seemingly implausible question:
whether more accessible, yet considerably smaller and weaker models such as
GPT-2, can be utilized to acquire comparative knowledge, such that the
resulting quality is on par with their large-scale counterparts?
We introduce NeuroComparatives, a novel framework for comparative knowledge
distillation using lexically-constrained decoding, followed by stringent
filtering of generated knowledge. Our framework acquires comparative knowledge
between everyday objects and results in a corpus of 8.7M comparisons over 1.74M
entity pairs - 10X larger and 30% more diverse than existing resources.
Moreover, human evaluations show that NeuroComparatives outperform existing
resources (up to 32% absolute improvement), even including GPT-3, despite using
a 100X smaller model. Our results motivate neuro-symbolic manipulation of
smaller models as a cost-effective alternative to the currently dominant
practice of relying on extreme-scale language models with limited inference
access.
- Abstract（参考訳）: 比較知識(例えば、鋼鉄はスチロフォアムよりも強く重く)は我々の世界知識の重要な要素であるが、以前の文献では未熟である。
本稿では,GPT-3のような超大規模言語モデルの能力が劇的に向上し,知識を知識ベースに抽出する取り組みに拍車をかけた,比較知識獲得の課題について考察する。
しかし、そのようなモデルの推論apiへのアクセスは限られており、知識獲得の範囲と多様性が制限されている。
gpt-2のようなよりアクセスしやすいが、より小さく、より弱いモデルを使って比較知識を得ることができるか、つまり、結果として得られる品質は、彼らの大規模モデルと同等か?
我々は,語彙制約付き復号を用いた比較知識蒸留のための新しいフレームワークであるneuro superlativesを紹介し,生成した知識の厳密なフィルタリングを行う。
我々のフレームワークは、日常のオブジェクト間の比較知識を取得し、その結果、既存のリソースより10倍大きく、30%多様である1.74万以上のエンティティペアのコーパスを8.7Mのコーパスで比較する。
さらに、人間による評価では、NuroComparativesは100倍の小さなモデルを使用しても、GPT-3を含む既存のリソース(最大32%の改善)を上回っている。
本研究は, 限られた推論アクセスを持つ超大規模言語モデルに頼って, より小型モデルの神経象徴的操作を, コスト効率のよい代替手段とするものである。
関連論文リスト
- Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models [1.753683416932648]
大規模言語モデル(LLM)は、様々な領域における事実知識の収集に長けている。
本研究では,Skiと呼ばれる新しい合成知識摂取法を提案する。
次に、Skiとそのバリエーションを3つの知識注入技術と統合し、言語モデルにおける知識を注入し、洗練する。
論文 参考訳（メタデータ） (2024-10-12T19:38:09Z) - Does Knowledge Localization Hold True? Surprising Differences Between Entity and Relation Perspectives in Language Models [20.157061521694096]
本研究では,知識編集による実体的知識と関係的知識の相違について検討する。
実体的知識と関係的知識の差異をさらに解明するために,関係的知識が事前学習されたモデルにどのように格納されているかを調べるために因果解析を用いる。
この洞察は、言語モデルにおける知識記憶の多面的な性質を強調し、これらのモデル内で特定の種類の知識を操作する複雑さを浮き彫りにしている。
論文 参考訳（メタデータ） (2024-09-01T05:09:11Z) - Towards a Holistic Evaluation of LLMs on Factual Knowledge Recall [31.45796499298925]
大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示している。
プレトレーニングから学んだ事実的知識をリコールするLLMの能力を評価することに注力する。
10のモデルファミリーから31のモデルをベンチマークし、その長所と短所を総合的に評価する。
論文 参考訳（メタデータ） (2024-04-24T19:40:01Z) - Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
スケーリング法則は、言語モデルのサイズと能力の関係を記述している。
我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。
7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
論文 参考訳（メタデータ） (2024-04-08T11:11:31Z) - Forgetting before Learning: Utilizing Parametric Arithmetic for
Knowledge Updating in Large Language Models [53.52344131257681]
本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。
2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
論文 参考訳（メタデータ） (2023-11-14T09:12:40Z) - Distilling Large Language Models for Biomedical Knowledge Extraction: A
Case Study on Adverse Drug Events [17.73671383380315]
本研究では,大規模言語モデル(LLM)が生物医学的知識キュレーションのスケールアップにどのように役立つかを検討する。
コスト,効率,ホワイトボックスモデルアクセスといった付加的なアドバンテージを伴って,アウトオブボックスのLCMよりも大幅に向上できることが判明した。
論文 参考訳（メタデータ） (2023-07-12T20:08:48Z) - ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである
1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
論文 参考訳（メタデータ） (2023-05-10T09:03:01Z) - I2D2: Inductive Knowledge Distillation with NeuroLogic and
Self-Imitation [89.38161262164586]
本稿では,ジェネリック生成の課題に着目し,コモンセンス知識の生成モデルについて検討する。
我々は,西欧の記号的知識蒸留を緩やかに追従する新しいコモンセンス蒸留フレームワークであるI2D2を紹介する。
我々の研究はジェネリックの新たなコーパス、Gen-A-tomicに繋がる。
論文 参考訳（メタデータ） (2022-12-19T04:47:49Z) - SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for
Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。
皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。
本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-03-22T06:54:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。