Fugu-MT 論文翻訳(概要): Paraphrase and Aggregate with Large Language Models for Minimizing Intent Classification Errors

論文の概要: Paraphrase and Aggregate with Large Language Models for Minimizing Intent Classification Errors

arxiv url: http://arxiv.org/abs/2406.17163v1
Date: Mon, 24 Jun 2024 22:30:26 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 18:11:29.112525
Title: Paraphrase and Aggregate with Large Language Models for Minimizing Intent Classification Errors
Title（参考訳）: 固有分類誤りの最小化のための大言語モデルによるパラフレーズと集約
Authors: Vikas Yadav, Zheng Tang, Vijay Srinivasan,
Abstract要約: 大規模言語モデル(LLM)は,大規模な多クラス分類タスクにおいて高い性能を達成できるが,いまだに分類誤りを発生させ,さらに悪化させ,語彙外なクラスラベルを生成する。本稿では、LLMが入力クエリ(並列クエリ)の複数のパラフレーズを生成するParaphrase and AGgregate (PAG)-LLMアプローチを提案する。 PAG-LLM は LLM が不確実なハードケースでは特に有効であり, 致命的誤分類と幻覚的ラベル生成誤差を低減させる。
参考スコア（独自算出の注目度）: 19.601600598570215
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large language models (LLM) have achieved remarkable success in natural language generation but lesser focus has been given to their applicability in decision making tasks such as classification. We show that LLMs like LLaMa can achieve high performance on large multi-class classification tasks but still make classification errors and worse, generate out-of-vocabulary class labels. To address these critical issues, we introduce Paraphrase and AGgregate (PAG)-LLM approach wherein an LLM generates multiple paraphrases of the input query (parallel queries), performs multi-class classification for the original query and each paraphrase, and at the end aggregate all the classification labels based on their confidence scores. We evaluate PAG-LLM on two large multi-class classication datasets: CLINC, and Banking and show 22.7% and 15.1% error reduction. We show that PAG-LLM is especially effective for hard examples where LLM is uncertain, and reduces the critical misclassification and hallucinated label generation errors
Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語生成において顕著な成功を収めてきたが、分類などの意思決定タスクへの適用性にはあまり焦点が当てられていない。 LLaMa のような LLM は,大規模な多クラス分類タスクでは高い性能を達成できるが,いまだに分類エラーを発生させ,さらに悪化させ,語彙外なクラスラベルを生成することができることを示す。これらの重要な問題に対処するために、LLMが入力クエリ(並列クエリ)の複数のパラフレーズを生成し、元のクエリと各パラフレーズのマルチクラス分類を実行し、最後に、その信頼性スコアに基づいて全ての分類ラベルを集約する、Paraphrase and AGgregate (PAG)-LLMアプローチを導入する。 PAG-LLMをCLINCとBandingの2つの大規模マルチクラス古典データセットで評価し,22.7%と15.1%のエラー削減を示した。 PAG-LLM は LLM が不確実なハードケースに対して特に有効であり, 致命的誤分類と幻覚的ラベル生成誤差を低減させることを示す。

関連論文リスト

Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文参考訳（メタデータ） (2025-02-17T18:59:02Z)
Text Classification in the LLM Era - Where do we stand? [2.7624021966289605]
大規模言語モデルはNLPに革命をもたらし、いくつかのタスクで劇的なパフォーマンス向上を示した。テキスト分類におけるそのような言語モデルの役割と,他の手法との比較について検討した。
論文参考訳（メタデータ） (2025-02-17T14:25:54Z)
Data Quality Enhancement on the Basis of Diversity with Large Language Models for Text Classification: Uncovered, Difficult, and Noisy [5.225010551503337]
本稿では,大規模言語モデル(LLM)に基づくテキスト分類のためのデータ品質向上手法を提案する。実験の結果,本手法はテキスト分類作業におけるLLMの性能を効果的に向上することが示された。提案手法は,いくつかのオープンソース分類タスクにおいて最先端の性能を達成した。
論文参考訳（メタデータ） (2024-12-09T15:28:39Z)
Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [21.926934384262594]
大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。合意、ラベルの品質、効率の点で、専門家、クラウドソース、LLMベースのアノテーションを比較します。以上の結果から,ラベルエラーがかなり多く,修正されると,報告されたモデル性能が大幅に上向きに変化することが判明した。
論文参考訳（メタデータ） (2024-10-24T16:27:03Z)
SkillAggregation: Reference-free LLM-Dependent Aggregation [14.46141987797362]
大規模言語モデル(LLM)は、NLPタスクの評価にますます使用される。最近の研究は、審査員が性能を向上させるために複数のLLMを使うことを示唆している。この研究は、参照ラベルが使用できない複数のシステムからの予測を集約することに焦点を当てている。
論文参考訳（メタデータ） (2024-10-14T07:13:47Z)
Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
論文参考訳（メタデータ） (2024-09-19T02:59:44Z)
RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。本稿では,MLLMの検索とランク付けのための拡張手法を提案する。提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
論文参考訳（メタデータ） (2024-03-20T17:59:55Z)
CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
論文参考訳（メタデータ） (2023-12-04T05:13:59Z)
Label Supervised LLaMA Finetuning [13.939718306233617]
本稿では,Large Language Models (LLM) のラベル管理型適応について紹介する。最終LLaMA層から潜在表現を抽出し、ラベル空間に投影し、クロスエントロピー損失を計算する。 LS-LLaMAは、複雑な技術や外部知識がなければ、LS-LLaMAの10倍の規模でLLMを著しく上回ります。
論文参考訳（メタデータ） (2023-10-02T13:53:03Z)
Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文参考訳（メタデータ） (2023-06-09T12:09:15Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。