Fugu-MT 論文翻訳(概要): Intent Classification for Bank Chatbots through LLM Fine-Tuning

論文の概要: Intent Classification for Bank Chatbots through LLM Fine-Tuning

arxiv url: http://arxiv.org/abs/2410.04925v1
Date: Mon, 7 Oct 2024 11:17:05 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 01:18:10.035703
Title: Intent Classification for Bank Chatbots through LLM Fine-Tuning
Title（参考訳）: LLMファインチューニングによるバンクチャットボットのインテント分類
Authors: Bibiána Lajčinová, Patrik Valábek, Michal Spišiak,
Abstract要約: 本研究は,多言語生成モデルを用いた場合と比較して,微調整BarberTの有効性について検討した。以上の結果から,SarberBERTは顕微鏡内精度とスコープ外偽陽性率で他のモデルよりも優れていた。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study evaluates the application of large language models (LLMs) for intent classification within a chatbot with predetermined responses designed for banking industry websites. Specifically, the research examines the effectiveness of fine-tuning SlovakBERT compared to employing multilingual generative models, such as Llama 8b instruct and Gemma 7b instruct, in both their pre-trained and fine-tuned versions. The findings indicate that SlovakBERT outperforms the other models in terms of in-scope accuracy and out-of-scope false positive rate, establishing it as the benchmark for this application.
Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)をチャットボット内の意図的分類に適用し,銀行業界Webサイト向けに所定の応答を設計した。具体的には、Llama 8bインストラクションやGemma 7bインストラクションのような多言語生成モデルを用いた場合と比較して、事前訓練と微調整の両方で、微調整BarberTの有効性を検証した。その結果,BarberTは顕微鏡内精度とスコープ外偽陽性率で他のモデルよりも優れており,このアプリケーションのベンチマークとして確立されている。

関連論文リスト

ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
論文参考訳（メタデータ） (2024-06-12T21:01:26Z)
Evaluating Large Language Models with Human Feedback: Establishing a Swedish Benchmark [0.0]
大規模言語モデル(LLM)は、多数のアプリケーションにまたがる重要な機能を示している。本研究では,スウェーデン語テキストの理解と生成におけるLLMの有効性を評価するための総合的人間ベンチマークを提案する。
論文参考訳（メタデータ） (2024-05-22T21:22:51Z)
CANTONMT: Investigating Back-Translation and Model-Switch Mechanisms for Cantonese-English Neural Machine Translation [9.244878233604819]
本稿では、カントン語から英語への機械翻訳モデルの開発と評価について述べる。オンラインで利用可能なさまざまなコーパスと事前処理とクリーニングを組み合わせることで、新しい並列コーパスが作成されている。合成並列コーパス生成を支援するために、Webスクレイピングを通じてモノリンガルなカントンデータセットが作成されている。
論文参考訳（メタデータ） (2024-05-13T20:37:04Z)
The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文参考訳（メタデータ） (2024-05-02T14:49:50Z)
Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文参考訳（メタデータ） (2023-11-14T18:59:15Z)
The BLA Benchmark: Investigating Basic Language Abilities of Pre-Trained Multimodal Models [7.043786774831232]
本稿では,基本言語能力のマルチモーダルモデルを評価するための,新しいベンチマークBLAを提案する。 CLIP, ViLBERT, BLIP2などのトランスフォーマーベースのシステムでは, 一般的にゼロショット環境ではBLAと競合する。これにより、BLAを評価ベンチマークとして使用するだけでなく、モデルの基本言語能力を改善するための扉を開くことができる。
論文参考訳（メタデータ） (2023-10-23T16:05:13Z)
Can Instruction Fine-Tuned Language Models Identify Social Bias through Prompting? [0.0]
本稿では、ゼロショットプロンプトによるバイアスを識別する微調整言語モデルの評価について述べる。 LLaMAと2つの命令を微調整したバージョンで、Alpaca 7Bは56.7%の精度でバイアス識別タスクで最善を尽くしている。
論文参考訳（メタデータ） (2023-07-19T22:03:40Z)
Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
論文参考訳（メタデータ） (2023-05-21T14:39:28Z)
Entity-Assisted Language Models for Identifying Check-worthy Sentences [23.792877053142636]
テキスト分類とランキングのための統一的なフレームワークを提案する。本フレームワークは,文の意味的分析と,文内の識別されたエンティティから得られる追加のエンティティ埋め込みを組み合わせる。 CLEFの2019年と2020年のCheckThat! Labsから公開されている2つのデータセットを使用して、我々のフレームワークの有効性を広く評価する。
論文参考訳（メタデータ） (2022-11-19T12:03:30Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。