論文の概要: NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge

• arxiv url: http://arxiv.org/abs/2305.04978v3
• Date: Sat, 6 Apr 2024 00:15:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 05:27:02.487431
• Title: NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge
• Title（参考訳）: Neurocomparatives:Neuro-Symbolic Distillation of Comparison Knowledge
• Authors: Phillip Howard, Junlin Wang, Vasudev Lal, Gadi Singer, Yejin Choi, Swabha Swayamdipta,
• Abstract要約: 比較知識蒸留のための新しいフレームワークであるNeuroComparativesを紹介する。 我々のフレームワークは最大8.8Mのコーパスを1.74Mのエンティティペアで生成する。 人間による評価は、NeuroComparativesが既存のリソースよりも有効性が高いことを示している。
• 参考スコア（独自算出の注目度）: 48.17483161013775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Comparative knowledge (e.g., steel is stronger and heavier than styrofoam) is an essential component of our world knowledge, yet understudied in prior literature. In this paper, we harvest the dramatic improvements in knowledge capabilities of language models into a large-scale comparative knowledge base. While the ease of acquisition of such comparative knowledge is much higher from extreme-scale models like GPT-4, compared to their considerably smaller and weaker counterparts such as GPT-2, not even the most powerful models are exempt from making errors. We thus ask: to what extent are models at different scales able to generate valid and diverse comparative knowledge? We introduce NeuroComparatives, a novel framework for comparative knowledge distillation overgenerated from language models such as GPT-variants and LLaMA, followed by stringent filtering of the generated knowledge. Our framework acquires comparative knowledge between everyday objects, producing a corpus of up to 8.8M comparisons over 1.74M entity pairs - 10X larger and 30% more diverse than existing resources. Moreover, human evaluations show that NeuroComparatives outperform existing resources in terms of validity (up to 32% absolute improvement). Our acquired NeuroComparatives leads to performance improvements on five downstream tasks. We find that neuro-symbolic manipulation of smaller models offers complementary benefits to the currently dominant practice of prompting extreme-scale language models for knowledge distillation.
• Abstract（参考訳）: 比較知識(例えば、鋼はスチロールフォームよりも強く重い)は、我々の世界の知識の重要な構成要素であるが、以前の文献で研究されている。 本稿では,言語モデルの知識能力の劇的な向上を,大規模比較知識ベースに抽出する。 このような比較知識の取得の容易さは、GPT-4のような極端なスケールのモデルよりもはるかに高いが、GPT-2のようなかなり小さく弱いモデルに比べれば、最も強力なモデルでさえ誤りを犯すことを免れるわけではない。 異なるスケールのモデルが、有効で多様な比較知識を生成できる範囲は、どの程度あるのか? 本稿では,GPT-variants や LLaMA などの言語モデルから過剰に生成した知識を比較蒸留するための新しいフレームワークであるNeuroComparativesを紹介し,その後に生成した知識を厳密にフィルタリングする。 我々のフレームワークは、日常のオブジェクト間の比較知識を取得し、最大8.8Mのコーパスを1.74M以上のエンティティペアで生成します。 さらに、人間による評価では、NeuroComparativesは既存のリソースよりも有効性(最大32%の絶対的改善)が高いことが示されている。 買収したNeuroComparativesは、5つの下流タスクのパフォーマンス改善につながります。 より小さなモデルのニューロシンボリックな操作は、知識蒸留のための極規模の言語モデルを促進する、現在支配的な実践に相補的な利点をもたらす。

関連論文リスト

• Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models [1.753683416932648]
  大規模言語モデル(LLM)は、様々な領域における事実知識の収集に長けている。 本研究では,Skiと呼ばれる新しい合成知識摂取法を提案する。 次に、Skiとそのバリエーションを3つの知識注入技術と統合し、言語モデルにおける知識を注入し、洗練する。
  論文  参考訳（メタデータ） (2024-10-12T19:38:09Z)
• Does Knowledge Localization Hold True? Surprising Differences Between Entity and Relation Perspectives in Language Models [20.157061521694096]
  本研究では,知識編集による実体的知識と関係的知識の相違について検討する。 実体的知識と関係的知識の差異をさらに解明するために,関係的知識が事前学習されたモデルにどのように格納されているかを調べるために因果解析を用いる。 この洞察は、言語モデルにおける知識記憶の多面的な性質を強調し、これらのモデル内で特定の種類の知識を操作する複雑さを浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-01T05:09:11Z)
• Towards a Holistic Evaluation of LLMs on Factual Knowledge Recall [31.45796499298925]
  大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示している。 プレトレーニングから学んだ事実的知識をリコールするLLMの能力を評価することに注力する。 10のモデルファミリーから31のモデルをベンチマークし、その長所と短所を総合的に評価する。
  論文  参考訳（メタデータ） (2024-04-24T19:40:01Z)
• Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
  スケーリング法則は、言語モデルのサイズと能力の関係を記述している。 我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。 7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
  論文  参考訳（メタデータ） (2024-04-08T11:11:31Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events [17.73671383380315]
  本研究では,大規模言語モデル(LLM)が生物医学的知識キュレーションのスケールアップにどのように役立つかを検討する。 コスト,効率,ホワイトボックスモデルアクセスといった付加的なアドバンテージを伴って,アウトオブボックスのLCMよりも大幅に向上できることが判明した。
  論文  参考訳（メタデータ） (2023-07-12T20:08:48Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• I2D2: Inductive Knowledge Distillation with NeuroLogic and Self-Imitation [89.38161262164586]
  本稿では,ジェネリック生成の課題に着目し,コモンセンス知識の生成モデルについて検討する。 我々は,西欧の記号的知識蒸留を緩やかに追従する新しいコモンセンス蒸留フレームワークであるI2D2を紹介する。 我々の研究はジェネリックの新たなコーパス、Gen-A-tomicに繋がる。
  論文  参考訳（メタデータ） (2022-12-19T04:47:49Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。