論文の概要: Quartet Logic: A Four-Step Reasoning (QLFR) framework for advancing
Short Text Classification
- arxiv url: http://arxiv.org/abs/2401.03158v1
- Date: Sat, 6 Jan 2024 08:28:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 20:12:50.600008
- Title: Quartet Logic: A Four-Step Reasoning (QLFR) framework for advancing
Short Text Classification
- Title(参考訳): Quartet Logic: 短いテキスト分類を前進させるための4ステップ推論(QLFR)フレームワーク
- Authors: Hui Wu, Yuanben Zhang, Zhonghe Han, Yingyan Hou, Lei Wang, Siye Liu,
Qihang Gong and Yunping Ge
- Abstract要約: 短いテキスト分類(STC)は、現代デジタルプラットフォームで広く普及している短いが実質的な内容の処理と理解に不可欠である。
LLM(Large Language Models)とCoT(Chain-of-Thought)の出現により、複雑な推論タスクのパフォーマンスが大幅に向上した。
本稿では、Quartet Logic: A Four-Step Reasoning (QLFR)フレームワークについて紹介する。
- 参考スコア(独自算出の注目度): 5.561563686684933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Short Text Classification (STC) is crucial for processing and comprehending
the brief but substantial content prevalent on contemporary digital platforms.
The STC encounters difficulties in grasping semantic and syntactic intricacies,
an issue that is apparent in traditional pre-trained language models. Although
Graph Convolutional Networks enhance performance by integrating external
knowledge bases, these methods are limited by the quality and extent of the
knowledge applied. Recently, the emergence of Large Language Models (LLMs) and
Chain-of-Thought (CoT) has significantly improved the performance of complex
reasoning tasks. However, some studies have highlighted the limitations of
their application in fundamental NLP tasks. Consequently, this study sought to
employ CoT to investigate the capabilities of LLMs in STC tasks. This study
introduces Quartet Logic: A Four-Step Reasoning (QLFR) framework. This
framework primarily incorporates Syntactic and Semantic Enrichment CoT,
effectively decomposing the STC task into four distinct steps: (i) essential
concept identification, (ii) common-sense knowledge retrieval, (iii) text
rewriting, and (iv) classification. This elicits the inherent knowledge and
abilities of LLMs to address the challenges in STC. Surprisingly, we found that
QLFR can also improve the performance of smaller models. Therefore, we
developed a CoT-Driven Multi-task learning (QLFR-CML) method to facilitate the
knowledge transfer from LLMs to smaller models. Extensive experimentation
across six short-text benchmarks validated the efficacy of the proposed
methods. Notably, QLFR achieved state-of-the-art performance on all datasets,
with significant improvements, particularly on the Ohsumed and TagMyNews
datasets.
- Abstract(参考訳): 短いテキスト分類(STC)は、現代デジタルプラットフォームで広く普及している短いが実質的な内容の処理と理解に不可欠である。
stcは、従来の事前学習された言語モデルで明らかな問題である意味的および構文的複雑さの把握が困難である。
グラフ畳み込みネットワークは外部の知識ベースを統合することで性能を高めるが、これらの手法は適用される知識の品質と範囲によって制限される。
近年,Large Language Models (LLM) とChain-of-Thought (CoT) の出現により,複雑な推論タスクの性能が大幅に向上した。
しかし、いくつかの研究では、基本的なNLPタスクにおける応用の限界を強調している。
そこで本研究では,STCタスクにおけるLCMの能力についてCoTを用いて検討した。
本稿では、Quartet Logic: A Four-Step Reasoning (QLFR)フレームワークを紹介する。
このフレームワークは主にSyntacticとSemantic Enrichment CoTを取り入れ、STCタスクを4つのステップに事実上分解する。
(i)本質的な概念の特定
(ii)常識知識の検索
(三)テキストの書き直し、及び
(iv)分類。
このことは、STCの課題に対処するために、LLMの固有の知識と能力を引き出す。
驚いたことに、QLFRは小さなモデルの性能も改善できることがわかった。
そこで我々は,LLMからより小さなモデルへの知識伝達を容易にするために, CoT-Driven Multi-task Learning (QLFR-CML) 法を開発した。
提案手法の有効性を6つの短文ベンチマークで検証した。
特にQLFRは、すべてのデータセット、特にOhsumedデータセットとTagMyNewsデータセットにおいて、最先端のパフォーマンスを達成した。
関連論文リスト
- Rich Semantic Knowledge Enhanced Large Language Models for Few-shot
Chinese Spell Checking [23.3877169181668]
本稿では,RS-LLM (Rich Semantic based LLMs) というコンテキスト内学習手法を用いて,大規模言語モデル (LLM) を基礎モデルとして導入する。
少数の中国固有のリッチなセマンティック構造を導入することで、LCMは、数ショットのCSCタスクにおいてBERTベースのモデルよりも優れた性能が得られることがわかった。
論文 参考訳(メタデータ) (2024-03-13T12:55:43Z) - ERA-CoT: Improving Chain-of-Thought through Entity Relationship Analysis [21.45632002033121]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて、賞賛できる成果を達成している。
これらの課題は、多段階の推論を必要とする暗黙の関係の存在から生じる。
本稿では,エンティティ間の関係を捉えることで,LLMのコンテキスト理解を支援する新しいアプローチであるERA-CoTを提案する。
論文 参考訳(メタデータ) (2024-03-11T17:18:53Z) - Evaluating LLMs' Mathematical Reasoning in Financial Document Question
Answering [53.56653281752486]
本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。
数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。
半構造化文書に適した新しいプロンプト技術を導入する。
論文 参考訳(メタデータ) (2024-02-17T05:10:18Z) - An Enhanced Prompt-Based LLM Reasoning Scheme via Knowledge
Graph-Integrated Collaboration [16.054815633190476]
本研究では,知識グラフ(KG)と大規模言語モデル(LLM)の緊密な協調を含む協調学習自由推論手法を提案する。
このような協調的な手法により、より信頼性の高い知識に基づく推論を実現し、推論結果の追跡を容易にする。
論文 参考訳(メタデータ) (2024-02-07T15:56:17Z) - InFoBench: Evaluating Instruction Following Ability in Large Language
Models [57.27152890085759]
Decomposed Requirements following Ratio (DRFR) は、命令に従うLarge Language Models (LLM) 能力を評価するための新しい指標である。
InFoBenchは500の多様な命令と2250の分解された質問を複数の制約カテゴリに分けたベンチマークである。
論文 参考訳(メタデータ) (2024-01-07T23:01:56Z) - MuSR: Testing the Limits of Chain-of-thought with Multistep Soft
Reasoning [68.45550068277441]
自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。
このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。
第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
論文 参考訳(メタデータ) (2023-10-24T17:59:20Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z) - T-SciQ: Teaching Multimodal Chain-of-Thought Reasoning via Mixed Large
Language Model Signals for Science Question Answering [59.63860993280275]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
LLM信号を用いた科学質問応答の指導を目的とした,T-SciQと呼ばれる新しい手法を提案する。
提案手法は,ScienceQAベンチマークで96.18%の精度で,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-05-05T11:56:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。