論文の概要: ZeroDL: Zero-shot Distribution Learning for Text Clustering via Large Language Models

• arxiv url: http://arxiv.org/abs/2406.13342v1
• Date: Wed, 19 Jun 2024 08:48:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 22:30:00.671547
• Title: ZeroDL: Zero-shot Distribution Learning for Text Clustering via Large Language Models
• Title（参考訳）: ZeroDL: 大規模言語モデルによるテキストクラスタリングのためのゼロショット分散学習
• Authors: Hwiyeol Jo, Hyunwoo Lee, Taiwoo Park,
• Abstract要約: 特定の大規模言語モデル(LLM)に対してタスクを文脈化するための,シンプルで効果的な手法を提案する。 本稿では,テキストクラスタリングタスクにおけるこのアプローチの有効性を示すとともに,上記の手順の例による文脈化の重要性を強調する。
• 参考スコア（独自算出の注目度）: 5.011816280731356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent advancements in large language models (LLMs) have brought significant progress in solving NLP tasks. Notably, in-context learning (ICL) is the key enabling mechanism for LLMs to understand specific tasks and grasping nuances. In this paper, we propose a simple yet effective method to contextualize a task toward a specific LLM, by (1) observing how a given LLM describes (all or a part of) target datasets, i.e., open-ended zero-shot inference, and (2) aggregating the open-ended inference results by the LLM, and (3) finally incorporate the aggregated meta-information for the actual task. We show the effectiveness of this approach in text clustering tasks, and also highlight the importance of the contextualization through examples of the above procedure.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、NLPタスクの解決に大きな進歩をもたらした。 特に、文脈内学習(ICL)は、LLMが特定のタスクを理解し、ニュアンスを把握するための鍵となるメカニズムである。 本稿では,(1)所与のLCMがターゲットデータセットの全体あるいは一部をどのように記述しているかを観察し,(2)LLMによるオープンなゼロショット推論結果の集約を行い,(3)最終的に実際のタスクに集約されたメタ情報を統合することによって,特定のLCMに対してタスクを文脈的に効果的に処理する方法を提案する。 本稿では,テキストクラスタリングタスクにおけるこのアプローチの有効性を示すとともに,上記の手順の例による文脈化の重要性を強調する。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• LinkGPT: Teaching Large Language Models To Predict Missing Links [23.57145845001286]
  大規模言語モデル(LLM)は、様々な言語やビジョンタスクにおいて有望な結果を示している。 近年、グラフベースのタスク、特にテキスト分散グラフ(TAG)にLLMを適用することへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-06-07T04:54:36Z)
• Language Models can Exploit Cross-Task In-context Learning for Data-Scarce Novel Tasks [22.66167973623777]
  LLM(Large Language Models)は、ICL(In-context Learning)機能によってNLPを変換した。 本稿では,予め定義されたタスクのラベル付き例から新しいタスクまで,LLMが一般化できるかどうかを検討する。 LLaMA-2 7Bは107%, LLaMA-2 13Bは18.6%, GPT3.5は3.2%であった。
  論文  参考訳（メタデータ） (2024-05-17T05:20:49Z)
• Sub-goal Distillation: A Method to Improve Small Language Agents [21.815417165548187]
  大規模言語モデル(LLM)は対話型タスクにおけるエージェントとして大きな可能性を証明している。 数十億のパラメータを持つLLMの性能を、はるかに小さな言語モデルに転送する手法を提案する。 困難かつマルチタスクな対話型テキスト環境であるScienceWorldでは,基本動作のみに基づく標準的な模倣学習を16.7%超えている。
  論文  参考訳（メタデータ） (2024-05-04T20:34:06Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。