論文の概要: Understanding Survey Paper Taxonomy about Large Language Models via
Graph Representation Learning
- arxiv url: http://arxiv.org/abs/2402.10409v1
- Date: Fri, 16 Feb 2024 02:21:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 17:40:51.344240
- Title: Understanding Survey Paper Taxonomy about Large Language Models via
Graph Representation Learning
- Title(参考訳): グラフ表現学習による大規模言語モデルに関する調査論文分類の理解
- Authors: Jun Zhuang, Casey Kennington
- Abstract要約: 我々は,調査論文を分類学に自動的に割り当てる手法を開発した。
本研究は,共分類グラフ上でのグラフ構造情報の活用が言語モデルよりも大幅に優れていることを示す。
- 参考スコア(独自算出の注目度): 2.88268082568407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As new research on Large Language Models (LLMs) continues, it is difficult to
keep up with new research and models. To help researchers synthesize the new
research many have written survey papers, but even those have become numerous.
In this paper, we develop a method to automatically assign survey papers to a
taxonomy. We collect the metadata of 144 LLM survey papers and explore three
paradigms to classify papers within the taxonomy. Our work indicates that
leveraging graph structure information on co-category graphs can significantly
outperform the language models in two paradigms; pre-trained language models'
fine-tuning and zero-shot/few-shot classifications using LLMs. We find that our
model surpasses an average human recognition level and that fine-tuning LLMs
using weak labels generated by a smaller model, such as the GCN in this study,
can be more effective than using ground-truth labels, revealing the potential
of weak-to-strong generalization in the taxonomy classification task.
- Abstract(参考訳): 大規模言語モデル(llms)に関する新たな研究が続くにつれ、新しい研究やモデルに追随することは困難である。
研究者が新しい研究を合成するのを助けるために、多くの調査論文を書いたが、それらでさえも増えている。
本稿では,調査論文を分類学に自動的に割り当てる手法を開発した。
144 LLM調査論文のメタデータを収集し,分類学における論文の分類のための3つのパラダイムを探索する。
本研究は,学習済み言語モデルの微調整とllmsを用いたゼロショット/フェウショット分類の2つのパラダイムにおいて,共カテゴリグラフ上のグラフ構造情報を活用することで言語モデルを著しく上回ることを示す。
本研究のモデルでは,ヒトの平均認識レベルを超越し,GCNなどの小型モデルで生成する弱いラベルを用いた微調整 LLM が,分類分類タスクにおける弱から強への一般化の可能性を明らかにする上で,より効果的であることが判明した。
関連論文リスト
- Evolving Knowledge Distillation with Large Language Models and Active
Learning [46.85430680828938]
大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示している。
従来の研究は、注釈付きデータを生成してLPMの知識をより小さなモデルに抽出しようと試みてきた。
EvoKD: Evolving Knowledge Distillationを提案する。これは、アクティブラーニングの概念を利用して、大規模言語モデルを用いたデータ生成のプロセスをインタラクティブに強化する。
論文 参考訳(メタデータ) (2024-03-11T03:55:24Z) - Distilling Large Language Models for Text-Attributed Graph Learning [17.64577949081361]
Text-Attributed Graphs (TAG) は、接続されたテキストドキュメントのグラフである。
グラフモデルはTAGを効率的に学習できるが、トレーニングは人間にアノテートされたラベルに大きく依存している。
大規模言語モデル(LLM)は、最近、少数ショットとゼロショットのTAG学習において顕著な能力を示した。
論文 参考訳(メタデータ) (2024-02-19T10:31:53Z) - A Survey of Graph Meets Large Language Model: Progress and Future
Directions [40.56797533111897]
大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。
LLMはグラフ関連タスクに活用され、従来のグラフニューラルネットワーク(GNN)ベースの手法を超越している。
論文 参考訳(メタデータ) (2023-11-21T07:22:48Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳(メタデータ) (2023-10-27T14:00:04Z) - From Text to Source: Results in Detecting Large Language Model-Generated
Content [1.534667887016089]
大きな言語モデル(LLM)は、人間に似たテキストを生成する能力によって祝われる。
本稿では,LLM生成テキストと人文テキストを区別するために訓練された分類器が,それ以上の訓練をすることなく,目標LLMからテキストを検出できるかどうかを評価する「クラスモデル検出」について検討する。
この研究は、ソースモデル識別、モデルファミリー分類、モデルサイズ分類を含むモデル属性についても検討している。
論文 参考訳(メタデータ) (2023-09-23T09:51:37Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳(メタデータ) (2023-06-25T02:39:19Z) - Attention is Not Always What You Need: Towards Efficient Classification
of Domain-Specific Text [1.1508304497344637]
階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。
ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。
PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
論文 参考訳(メタデータ) (2023-03-31T03:17:23Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - A Survey of Knowledge Graph Reasoning on Graph Types: Static, Dynamic,
and Multimodal [57.8455911689554]
知識グラフ推論(KGR)は、知識グラフに基づくマイニング論理則に基づいて、既存の事実から新しい事実を推論することを目的としている。
質問応答やレコメンデーションシステムなど、多くのAIアプリケーションでKGを使うことに大きなメリットがあることが証明されている。
論文 参考訳(メタデータ) (2022-12-12T08:40:04Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳(メタデータ) (2021-10-04T08:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。