論文の概要: Learning Better Intent Representations for Financial Open Intent Classification

• arxiv url: http://arxiv.org/abs/2210.14304v1
• Date: Tue, 25 Oct 2022 20:01:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 15:17:30.555769
• Title: Learning Better Intent Representations for Financial Open Intent Classification
• Title（参考訳）: ファイナンシャルオープンインテント分類のためのよりよいインテント表現の学習
• Authors: Xianzhi Li, Will Aitken, Xiaodan Zhu, Stephen W. Thomas
• Abstract要約: 本稿では,意図表現の教師付き事前学習のための2つの方法を提案する。 本提案では,従来の最先端ADB法よりも1.63%～2.07%高い精度でオープンインテント分類を行う。
• 参考スコア（独自算出の注目度）: 23.15534223352769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the recent surge of NLP technologies in the financial domain, banks and other financial entities have adopted virtual agents (VA) to assist customers. A challenging problem for VAs in this domain is determining a user's reason or intent for contacting the VA, especially when the intent was unseen or open during the VA's training. One method for handling open intents is adaptive decision boundary (ADB) post-processing, which learns tight decision boundaries from intent representations to separate known and open intents. We propose incorporating two methods for supervised pre-training of intent representations: prefix-tuning and fine-tuning just the last layer of a large language model (LLM). With this proposal, our accuracy is 1.63% - 2.07% higher than the prior state-of-the-art ADB method for open intent classification on the banking77 benchmark amongst others. Notably, we only supplement the original ADB model with 0.1% additional trainable parameters. Ablation studies also determine that our method yields better results than full fine-tuning the entire model. We hypothesize that our findings could stimulate a new optimal method of downstream tuning that combines parameter efficient tuning modules with fine-tuning a subset of the base model's layers.
• Abstract（参考訳）: 近年の金融分野におけるNLP技術の普及に伴い、銀行や他の金融機関は仮想エージェント(VA)を採用して顧客を支援している。 この領域におけるvasの難しい問題は、特にvaのトレーニング中に意図が見えなかったり開いたりする場合に、vaに接触するユーザの理由や意図を決定することである。 オープンインテントを扱う1つの方法はadaptive decision boundary (adb) ポストプロセッシングであり、インテント表現から既知のインテントとオープンインテントの分離まで、厳密な決定バウンダリを学ぶ。 本稿では,大言語モデル(LLM)の最終層であるプレフィックスチューニングとファインタニングという,意図表現の教師付き事前学習のための2つの手法を導入することを提案する。 この提案では、bankbank77ベンチマークにおけるオープンインテント分類のための以前のadb法よりも1.63%から2.07%高い精度を示している。 特に、トレーニング可能なパラメータを0.1%追加したオリジナルのADBモデルを補完するだけです。 アブレーション研究は,本手法がモデル全体を微調整するよりも優れた結果をもたらすことも明らかにした。 我々は,パラメータ効率のよいチューニングモジュールとベースモデルのサブセットの微調整を組み合わせた,下流チューニングの新しい最適手法を提案できるのではないか,という仮説を立てた。

関連論文リスト

• Offline Behavior Distillation [57.6900189406964]
  大規模な強化学習(RL)データは通常、インタラクションを必要とせずにポリシをオフラインにトレーニングするために収集される。 準最適RLデータから限られた専門家の行動データを合成するオフライン行動蒸留(OBD)を定式化する。 そこで本研究では, 蒸留データとオフラインデータ, ほぼ専門的ポリシーのいずれにおいても, 蒸留性能を判断的差異によって測定する2つの単純OBD目標であるDBCとPBCを提案する。
  論文  参考訳（メタデータ） (2024-10-30T06:28:09Z)
• An Innovative Attention-based Ensemble System for Credit Card Fraud Detection [5.486205584465161]
  本稿では,クレジットカード不正検出のためのユニークな注意に基づくアンサンブルモデルを提案する。 アンサンブルモデルの精度は 99.95% であり、曲線 (AUC) の下の面積は 1 である。
  論文  参考訳（メタデータ） (2024-10-01T09:56:23Z)
• From Learning to Analytics: Improving Model Efficacy with Goal-Directed Client Selection [29.257066178498984]
  フェデレートラーニング(FL)は、分散クライアント間でグローバルモデルを学ぶための魅力的なパラダイムである。 クライアントのローカルデータを用いて訓練されたグローバルモデルの効果的な評価を可能にするクローズドループモデル分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-30T13:49:59Z)
• Double-Bounded Optimal Transport for Advanced Clustering and Classification [58.237576976486544]
  本稿では,2つの境界内での目標分布の制限を前提としたDB-OT(Douubly bounded Optimal Transport)を提案する。 提案手法は,テスト段階における改良された推論方式により,良好な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-21T07:43:01Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Adaptive Threshold for Better Performance of the Recognition and Re-identification Models [0.0]
  LFWデータセットと自己準備型アスリートデータセット上で,オンライン最適化に基づく統計的特徴学習適応技術を開発した。 適応しきい値を採用するこの方法は、通常任意の分類および識別タスクでヒットアンドトライ法を介して取られる固定しきい値0.3,0.5,0.7と比較してモデル精度が12〜45%向上した。
  論文  参考訳（メタデータ） (2020-12-28T15:40:53Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Deep Open Intent Classification with Adaptive Decision Boundary [21.478553057876972]
  オープン意図分類のための適応決定境界(ADB)を学習するための後処理手法を提案する。 具体的には,経験的リスクとオープンスペースリスクを両立させる新たな損失関数を提案する。 私たちのアプローチは、ラベル付きデータが少なく、既知の意図が少ないと驚くほど非感受性です。
  論文  参考訳（メタデータ） (2020-12-18T13:05:11Z)
• Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
  ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。 本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。 提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
  論文  参考訳（メタデータ） (2020-10-07T17:48:12Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。