論文の概要: A Survey on Symbolic Knowledge Distillation of Large Language Models
- arxiv url: http://arxiv.org/abs/2408.10210v1
- Date: Fri, 12 Jul 2024 12:18:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 06:44:48.797417
- Title: A Survey on Symbolic Knowledge Distillation of Large Language Models
- Title（参考訳）: 大規模言語モデルの記号的知識蒸留に関する調査
- Authors: Kamal Acharya, Alvaro Velasquez, Houbing Herbert Song,
- Abstract要約: 大規模言語モデルにおける記号的知識蒸留の出現と臨界領域に焦点を当てた調査。
知識の深みを理解可能なフォーマットで維持することを含む、中核的な課題について説明する。
この分野で開発された様々なアプローチや技法を精査する。
- 参考スコア（独自算出の注目度）: 8.237773729114926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This survey paper delves into the emerging and critical area of symbolic knowledge distillation in Large Language Models (LLMs). As LLMs like Generative Pre-trained Transformer-3 (GPT-3) and Bidirectional Encoder Representations from Transformers (BERT) continue to expand in scale and complexity, the challenge of effectively harnessing their extensive knowledge becomes paramount. This survey concentrates on the process of distilling the intricate, often implicit knowledge contained within these models into a more symbolic, explicit form. This transformation is crucial for enhancing the interpretability, efficiency, and applicability of LLMs. We categorize the existing research based on methodologies and applications, focusing on how symbolic knowledge distillation can be used to improve the transparency and functionality of smaller, more efficient Artificial Intelligence (AI) models. The survey discusses the core challenges, including maintaining the depth of knowledge in a comprehensible format, and explores the various approaches and techniques that have been developed in this field. We identify gaps in current research and potential opportunities for future advancements. This survey aims to provide a comprehensive overview of symbolic knowledge distillation in LLMs, spotlighting its significance in the progression towards more accessible and efficient AI systems.
- Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における記号的知識蒸留の新たな重要領域について検討する。
Generative Pre-trained Transformer-3 (GPT-3) や Bidirectional Encoder Representations from Transformers (BERT) のようなLCMは、スケールと複雑さを拡大し続けており、その広範な知識を効果的に活用するという課題が最重要である。
この調査は、これらのモデルに含まれる複雑な暗黙の知識を、より象徴的で明示的な形式に蒸留するプロセスに集中している。
この変換は, LLMの解釈可能性, 効率, 適用性の向上に不可欠である。
我々は,より小型で効率的な人工知能(AI)モデルの透明性と機能を改善するために,シンボリック・ナレッジ・蒸留をいかに利用できるかに着目し,方法論と応用に基づく既存の研究を分類する。
本調査では,知識の深度を網羅的な形式で維持することを含む中核的な課題について論じ,この分野で開発された様々なアプローチや手法について考察する。
現在の研究のギャップと今後の進歩の可能性を見極める。
この調査は, LLMにおける記号的知識蒸留の総合的な概要を提供することを目的としており, よりアクセスしやすく, 効率的なAIシステムへの進化におけるその意義を浮き彫りにしている。
関連論文リスト
- Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models [1.753683416932648]
大規模言語モデル(LLM)は、様々な領域における事実知識の収集に長けている。
本研究では,Skiと呼ばれる新しい合成知識摂取法を提案する。
次に、Skiとそのバリエーションを3つの知識注入技術と統合し、言語モデルにおける知識を注入し、洗練する。
論文 参考訳（メタデータ） (2024-10-12T19:38:09Z) - From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。
CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。
本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
論文 参考訳（メタデータ） (2024-09-19T02:51:54Z) - Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application [21.555902498178387]
大規模言語モデル(LLM)は様々な領域で例外的な機能を示しており、学術と産業の両方から大きな関心を集めている。
精度を維持しながら言語モデルを圧縮する努力は研究の焦点となっている。
知識蒸留は、性能を著しく損なうことなく推論速度を向上する有効な手法として登場した。
論文 参考訳（メタデータ） (2024-07-02T02:14:42Z) - Large Language Model Enhanced Knowledge Representation Learning: A Survey [15.602891714371342]
言語モデルと知識表現学習(KRL)の統合は、人工知能(AI)分野における大きな進歩を示している。
LLMによるKRLの強化に関する研究が増えているにもかかわらず、これらの強化されたモデルのプロセスを分析する徹底的な調査は、顕著に欠落している。
3つの異なるトランスフォーマーアーキテクチャに基づいてこれらのモデルを分類し、様々なKRL下流タスクからの実験データを解析し、それぞれのアプローチの長所と短所を評価することで、この問題に対処する。
論文 参考訳（メタデータ） (2024-07-01T03:37:35Z) - A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。
Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。
RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
論文 参考訳（メタデータ） (2024-05-10T02:48:45Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - A Survey on Detection of LLMs-Generated Content [97.87912800179531]
LLMの生成する内容を検出する能力が最重要視されている。
既存の検出戦略とベンチマークの詳細な概要を提供する。
また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
論文 参考訳（メタデータ） (2023-10-24T09:10:26Z) - EpiK-Eval: Evaluation for Language Models as Epistemic Models [16.485951373967502]
セグメンテッドな物語から一貫した知識表現を定式化する上で,LLMの習熟度を評価するための新しい質問答えベンチマークであるEpiK-Evalを紹介する。
これらの欠点は、一般的な訓練目的の本質的な性質に起因していると論じる。
本研究の成果は,より堅牢で信頼性の高いLCMを開発する上での洞察を与えるものである。
論文 参考訳（メタデータ） (2023-10-23T21:15:54Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳（メタデータ） (2021-12-16T04:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。