論文の概要: Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2402.10409v1
• Date: Fri, 16 Feb 2024 02:21:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 17:40:51.344240
• Title: Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning
• Title（参考訳）: グラフ表現学習による大規模言語モデルに関する調査論文分類の理解
• Authors: Jun Zhuang, Casey Kennington
• Abstract要約: 我々は,調査論文を分類学に自動的に割り当てる手法を開発した。 本研究は,共分類グラフ上でのグラフ構造情報の活用が言語モデルよりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.88268082568407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As new research on Large Language Models (LLMs) continues, it is difficult to keep up with new research and models. To help researchers synthesize the new research many have written survey papers, but even those have become numerous. In this paper, we develop a method to automatically assign survey papers to a taxonomy. We collect the metadata of 144 LLM survey papers and explore three paradigms to classify papers within the taxonomy. Our work indicates that leveraging graph structure information on co-category graphs can significantly outperform the language models in two paradigms; pre-trained language models' fine-tuning and zero-shot/few-shot classifications using LLMs. We find that our model surpasses an average human recognition level and that fine-tuning LLMs using weak labels generated by a smaller model, such as the GCN in this study, can be more effective than using ground-truth labels, revealing the potential of weak-to-strong generalization in the taxonomy classification task.
• Abstract（参考訳）: 大規模言語モデル(llms)に関する新たな研究が続くにつれ、新しい研究やモデルに追随することは困難である。 研究者が新しい研究を合成するのを助けるために、多くの調査論文を書いたが、それらでさえも増えている。 本稿では,調査論文を分類学に自動的に割り当てる手法を開発した。 144 LLM調査論文のメタデータを収集し,分類学における論文の分類のための3つのパラダイムを探索する。 本研究は,学習済み言語モデルの微調整とllmsを用いたゼロショット/フェウショット分類の2つのパラダイムにおいて,共カテゴリグラフ上のグラフ構造情報を活用することで言語モデルを著しく上回ることを示す。 本研究のモデルでは,ヒトの平均認識レベルを超越し,GCNなどの小型モデルで生成する弱いラベルを用いた微調整 LLM が,分類分類タスクにおける弱から強への一般化の可能性を明らかにする上で,より効果的であることが判明した。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
  大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:59:44Z)
• Masked Image Modeling: A Survey [73.21154550957898]
  マスク付き画像モデリングは、コンピュータビジョンにおける強力な自己教師付き学習技術として登場した。 我々は近年,分類学を構築し,最も顕著な論文をレビューしている。 我々は,最も人気のあるデータセット上で,様々なマスク付き画像モデリング手法の性能評価結果を集約する。
  論文  参考訳（メタデータ） (2024-08-13T07:27:02Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification [4.4467858321751015]
  異なるアーキテクチャとスコアリング関数を用いて、77Mから40Bパラメータの言語モデルをベンチマークする。 この結果から、小さなモデルはテキストを効果的に分類し、より大きなテキストに匹敵するか、上回っていることが明らかとなった。 この研究は、大きめが常に良いとは限らないという考えを強調し、リソース効率の良い小さなモデルが特定のデータ分類の課題に対して実行可能なソリューションを提供するかもしれないことを示唆している。
  論文  参考訳（メタデータ） (2024-04-17T07:10:28Z)
• Distilling Large Language Models for Text-Attributed Graph Learning [16.447635770220334]
  Text-Attributed Graphs (TAG) は、接続されたテキストドキュメントのグラフである。 グラフモデルはTAGを効率的に学習できるが、トレーニングは人間にアノテートされたラベルに大きく依存している。 大規模言語モデル(LLM)は、最近、少数ショットとゼロショットのTAG学習において顕著な能力を示した。
  論文  参考訳（メタデータ） (2024-02-19T10:31:53Z)
• A Survey of Graph Meets Large Language Model: Progress and Future Directions [38.63080573825683]
  大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。 LLMはグラフ関連タスクに活用され、従来のグラフニューラルネットワーク(GNN)ベースの手法を超越している。
  論文  参考訳（メタデータ） (2023-11-21T07:22:48Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Attention is Not Always What You Need: Towards Efficient Classification of Domain-Specific Text [1.1508304497344637]
  階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。 ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。 PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
  論文  参考訳（メタデータ） (2023-03-31T03:17:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。