論文の概要: NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge

• arxiv url: http://arxiv.org/abs/2305.04978v2
• Date: Wed, 15 Nov 2023 17:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 20:36:08.756241
• Title: NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge
• Title（参考訳）: Neurocomparatives:Neuro-Symbolic Distillation of Comparison Knowledge
• Authors: Phillip Howard, Junlin Wang, Vasudev Lal, Gadi Singer, Yejin Choi, Swabha Swayamdipta
• Abstract要約: GPT-4のような超大規模言語モデルの能力を大幅に向上させることで、比較知識獲得の課題について検討する。 本稿では,言語モデルから過剰に生成される知識蒸留のための新しいフレームワークであるNeuroComparativesを紹介する。 我々のフレームワークは1.74Mのエンティティペアに対して最大8.8Mのコーパスを生成します。
• 参考スコア（独自算出の注目度）: 51.04681376353797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Comparative knowledge (e.g., steel is stronger and heavier than styrofoam) is an essential component of our world knowledge, yet understudied in prior literature. In this paper, we study the task of comparative knowledge acquisition, motivated by the dramatic improvements in the capabilities of extreme-scale language models like GPT-4, which have fueled efforts towards harvesting their knowledge into knowledge bases. While acquisition of such comparative knowledge is much easier from models like GPT-4, compared to their considerably smaller and weaker counterparts such as GPT-2, not even the most powerful models are exempt from making errors. We thus ask: to what extent are models at different scales able to generate valid and diverse comparative knowledge? We introduce NeuroComparatives, a novel framework for comparative knowledge distillation overgenerated from language models such as GPT-variants and Llama, followed by stringent filtering of the generated knowledge. Our framework acquires comparative knowledge between everyday objects, producing a corpus of up to 8.8M comparisons over 1.74M entity pairs - 10X larger and 30% more diverse than existing resources. Moreover, human evaluations show that NeuroComparatives outperform existing resources (up to 32% absolute improvement). We also demonstrate the utility of our distilled NeuroComparatives on three downstream tasks. Our results show that neuro-symbolic manipulation of smaller models offer complementary benefits to the currently dominant practice of prompting extreme-scale language models for knowledge distillation.
• Abstract（参考訳）: 比較知識(例えば、鋼鉄はスチロフォアムよりも強く重く)は我々の世界知識の重要な要素であるが、以前の文献では未熟である。 本稿では,GPT-4のような超大規模言語モデルの能力が劇的に向上し,知識を知識ベースに抽出する取り組みに拍車をかけた,比較知識獲得の課題について考察する。 このような比較知識の獲得は、GPT-4のようなモデルよりもはるかに容易であるが、GPT-2のようなかなり小さく弱いモデルに比べて、最も強力なモデルでさえ誤りを犯すことを免れるわけではない。 異なるスケールのモデルが、有効で多様な比較知識を生成できる範囲は、どの程度あるのか? 我々は, GPT-variants や Llama などの言語モデルから過剰に生成した知識を比較蒸留するための新しいフレームワークであるNeuroComparativesを導入し,続いて生成した知識の厳密なフィルタリングを行う。 我々のフレームワークは、日常のオブジェクト間の比較知識を取得し、最大8.8Mのコーパスを1.74M以上のエンティティペアと比較する。 さらに、人間による評価では、NeuroComparativesは既存のリソース(最大32%の絶対的な改善)を上回っている。 また,3つの下流課題に対して蒸留したNeuroComparativesの有用性を示す。 以上の結果から,小型モデルのニューロシンボリックな操作は,超大規模言語モデルに知識蒸留を促すという現在主流となっている実践に相補的な効果をもたらすことが示唆された。

関連論文リスト

• Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models [1.753683416932648]
  大規模言語モデル(LLM)は、様々な領域における事実知識の収集に長けている。 本研究では,Skiと呼ばれる新しい合成知識摂取法を提案する。 次に、Skiとそのバリエーションを3つの知識注入技術と統合し、言語モデルにおける知識を注入し、洗練する。
  論文  参考訳（メタデータ） (2024-10-12T19:38:09Z)
• Does Knowledge Localization Hold True? Surprising Differences Between Entity and Relation Perspectives in Language Models [20.157061521694096]
  本研究では,知識編集による実体的知識と関係的知識の相違について検討する。 実体的知識と関係的知識の差異をさらに解明するために,関係的知識が事前学習されたモデルにどのように格納されているかを調べるために因果解析を用いる。 この洞察は、言語モデルにおける知識記憶の多面的な性質を強調し、これらのモデル内で特定の種類の知識を操作する複雑さを浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-01T05:09:11Z)
• Towards a Holistic Evaluation of LLMs on Factual Knowledge Recall [31.45796499298925]
  大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示している。 プレトレーニングから学んだ事実的知識をリコールするLLMの能力を評価することに注力する。 10のモデルファミリーから31のモデルをベンチマークし、その長所と短所を総合的に評価する。
  論文  参考訳（メタデータ） (2024-04-24T19:40:01Z)
• Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
  スケーリング法則は、言語モデルのサイズと能力の関係を記述している。 我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。 7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
  論文  参考訳（メタデータ） (2024-04-08T11:11:31Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events [17.73671383380315]
  本研究では,大規模言語モデル(LLM)が生物医学的知識キュレーションのスケールアップにどのように役立つかを検討する。 コスト,効率,ホワイトボックスモデルアクセスといった付加的なアドバンテージを伴って,アウトオブボックスのLCMよりも大幅に向上できることが判明した。
  論文  参考訳（メタデータ） (2023-07-12T20:08:48Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• I2D2: Inductive Knowledge Distillation with NeuroLogic and Self-Imitation [89.38161262164586]
  本稿では,ジェネリック生成の課題に着目し,コモンセンス知識の生成モデルについて検討する。 我々は,西欧の記号的知識蒸留を緩やかに追従する新しいコモンセンス蒸留フレームワークであるI2D2を紹介する。 我々の研究はジェネリックの新たなコーパス、Gen-A-tomicに繋がる。
  論文  参考訳（メタデータ） (2022-12-19T04:47:49Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。