論文の概要: Quartet Logic: A Four-Step Reasoning (QLFR) framework for advancing Short Text Classification

• arxiv url: http://arxiv.org/abs/2401.03158v1
• Date: Sat, 6 Jan 2024 08:28:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 20:12:50.600008
• Title: Quartet Logic: A Four-Step Reasoning (QLFR) framework for advancing Short Text Classification
• Title（参考訳）: Quartet Logic: 短いテキスト分類を前進させるための4ステップ推論(QLFR)フレームワーク
• Authors: Hui Wu, Yuanben Zhang, Zhonghe Han, Yingyan Hou, Lei Wang, Siye Liu, Qihang Gong and Yunping Ge
• Abstract要約: 短いテキスト分類(STC)は、現代デジタルプラットフォームで広く普及している短いが実質的な内容の処理と理解に不可欠である。 LLM(Large Language Models)とCoT(Chain-of-Thought)の出現により、複雑な推論タスクのパフォーマンスが大幅に向上した。 本稿では、Quartet Logic: A Four-Step Reasoning (QLFR)フレームワークについて紹介する。
• 参考スコア（独自算出の注目度）: 5.561563686684933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Short Text Classification (STC) is crucial for processing and comprehending the brief but substantial content prevalent on contemporary digital platforms. The STC encounters difficulties in grasping semantic and syntactic intricacies, an issue that is apparent in traditional pre-trained language models. Although Graph Convolutional Networks enhance performance by integrating external knowledge bases, these methods are limited by the quality and extent of the knowledge applied. Recently, the emergence of Large Language Models (LLMs) and Chain-of-Thought (CoT) has significantly improved the performance of complex reasoning tasks. However, some studies have highlighted the limitations of their application in fundamental NLP tasks. Consequently, this study sought to employ CoT to investigate the capabilities of LLMs in STC tasks. This study introduces Quartet Logic: A Four-Step Reasoning (QLFR) framework. This framework primarily incorporates Syntactic and Semantic Enrichment CoT, effectively decomposing the STC task into four distinct steps: (i) essential concept identification, (ii) common-sense knowledge retrieval, (iii) text rewriting, and (iv) classification. This elicits the inherent knowledge and abilities of LLMs to address the challenges in STC. Surprisingly, we found that QLFR can also improve the performance of smaller models. Therefore, we developed a CoT-Driven Multi-task learning (QLFR-CML) method to facilitate the knowledge transfer from LLMs to smaller models. Extensive experimentation across six short-text benchmarks validated the efficacy of the proposed methods. Notably, QLFR achieved state-of-the-art performance on all datasets, with significant improvements, particularly on the Ohsumed and TagMyNews datasets.
• Abstract（参考訳）: 短いテキスト分類(STC)は、現代デジタルプラットフォームで広く普及している短いが実質的な内容の処理と理解に不可欠である。 stcは、従来の事前学習された言語モデルで明らかな問題である意味的および構文的複雑さの把握が困難である。 グラフ畳み込みネットワークは外部の知識ベースを統合することで性能を高めるが、これらの手法は適用される知識の品質と範囲によって制限される。 近年,Large Language Models (LLM) とChain-of-Thought (CoT) の出現により,複雑な推論タスクの性能が大幅に向上した。 しかし、いくつかの研究では、基本的なNLPタスクにおける応用の限界を強調している。 そこで本研究では,STCタスクにおけるLCMの能力についてCoTを用いて検討した。 本稿では、Quartet Logic: A Four-Step Reasoning (QLFR)フレームワークを紹介する。 このフレームワークは主にSyntacticとSemantic Enrichment CoTを取り入れ、STCタスクを4つのステップに事実上分解する。 (i)本質的な概念の特定 (ii)常識知識の検索 (三)テキストの書き直し、及び (iv)分類。 このことは、STCの課題に対処するために、LLMの固有の知識と能力を引き出す。 驚いたことに、QLFRは小さなモデルの性能も改善できることがわかった。 そこで我々は,LLMからより小さなモデルへの知識伝達を容易にするために, CoT-Driven Multi-task Learning (QLFR-CML) 法を開発した。 提案手法の有効性を6つの短文ベンチマークで検証した。 特にQLFRは、すべてのデータセット、特にOhsumedデータセットとTagMyNewsデータセットにおいて、最先端のパフォーマンスを達成した。

関連論文リスト

• Bridging Context Gaps: Leveraging Coreference Resolution for Long Contextual Understanding [28.191029786204624]
  大規模言語モデル(LLM)の性能向上を目的としたLong Question Coreference Adaptation (LQCA) 手法を提案する。 このフレームワークは、長いコンテキストに合わせて調整されたコア参照解決に焦点を当てており、モデルが参照を効果的に識別し、管理することができる。 このフレームワークはLLMの扱いやすいパーティションを提供し、理解を深める。
  論文  参考訳（メタデータ） (2024-10-02T15:39:55Z)
• Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives [54.14429346914995]
  CoT (Chain-of-Thought) は複雑な問題を解決する重要な方法となっている。 大規模言語モデル(LLM)はドメイン固有のタスクを正確に分解するのに苦労することが多い。 本稿では,LLMタスクを能力,スキル,知識の観点から再検討する理論モデルであるRe-TASKフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T13:58:23Z)
• On the Hardness of Faithful Chain-of-Thought Reasoning in Large Language Models [25.029579061612456]
  大規模言語モデル(LLM)は、医療などの重要な領域における現実世界のアプリケーションにますます採用されている。 これらのモデルによって生成されたCoT(Chain-of-Thought)推論が、その基盤となる振る舞いを忠実に捉えることが重要である。
  論文  参考訳（メタデータ） (2024-06-15T13:16:44Z)
• Token-Efficient Leverage Learning in Large Language Models [13.830828529873056]
  大規模言語モデル(LLM)は様々なタスクで優れていますが、高リソースのシナリオではより良く機能しています。 データ不足と特定のタスクにLLMを適用することの難しさは、この課題を複雑にしている。 本稿では,Token-Efficient Leverage Learning (TELL) と呼ばれる方法論の合理化実装を提案する。
  論文  参考訳（メタデータ） (2024-04-01T04:39:44Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• ERA-CoT: Improving Chain-of-Thought through Entity Relationship Analysis [20.24915029448926]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて、賞賛できる成果を達成している。 これらの課題は、多段階の推論を必要とする暗黙の関係の存在から生じる。 本稿では,エンティティ間の関係を捉えることで,LLMのコンテキスト理解を支援する新しいアプローチであるERA-CoTを提案する。
  論文  参考訳（メタデータ） (2024-03-11T17:18:53Z)
• Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering [53.56653281752486]
  本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。 数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。 半構造化文書に適した新しいプロンプト技術を導入する。
  論文  参考訳（メタデータ） (2024-02-17T05:10:18Z)
• InFoBench: Evaluating Instruction Following Ability in Large Language Models [57.27152890085759]
  Decomposed Requirements following Ratio (DRFR) は、命令に従うLarge Language Models (LLM) 能力を評価するための新しい指標である。 InFoBenchは500の多様な命令と2250の分解された質問を複数の制約カテゴリに分けたベンチマークである。
  論文  参考訳（メタデータ） (2024-01-07T23:01:56Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
  大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。 外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。 我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。