論文の概要: IEKM: A Model Incorporating External Keyword Matrices

• arxiv url: http://arxiv.org/abs/2311.12310v1
• Date: Tue, 21 Nov 2023 03:02:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 02:21:20.504316
• Title: IEKM: A Model Incorporating External Keyword Matrices
• Title（参考訳）: IEKM:外部キーワード行列を組み込んだモデル
• Authors: Cheng Luo, Qin Li, Zhao Yan, Mengliang Rao and Yunbo Cao
• Abstract要約: カスタマーサービスプラットフォームシステムは、顧客の異なる領域に適応する必要があります。 プラットフォームシステムのモデルでは、文字通り近いが意味的に異なる文対を区別することは困難である。
• 参考スコア（独自算出の注目度）: 24.187720356216822
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A customer service platform system with a core text semantic similarity (STS) task faces two urgent challenges: Firstly, one platform system needs to adapt to different domains of customers, i.e., different domains adaptation (DDA). Secondly, it is difficult for the model of the platform system to distinguish sentence pairs that are literally close but semantically different, i.e., hard negative samples. In this paper, we propose an incorporation external keywords matrices model (IEKM) to address these challenges. The model uses external tools or dictionaries to construct external matrices and fuses them to the self-attention layers of the Transformer structure through gating units, thus enabling flexible corrections to the model results. We evaluate the method on multiple datasets and the results show that our method has improved performance on all datasets. To demonstrate that our method can effectively solve all the above challenges, we conduct a flexible correction experiment, which results in an increase in the F1 value from 56.61 to 73.53. Our code will be publicly available.
• Abstract（参考訳）: コアテキストセマンティックな類似性(STS)タスクを持つカスタマーサービスプラットフォームシステムは、2つの緊急課題に直面している。 第二に、プラットフォームシステムのモデルでは、文字通り近いが意味的に異なる文対、すなわちハードネガティブなサンプルを区別することは困難である。 本稿では,これらの課題に対処する組込み外部キーワード行列モデル(IEKM)を提案する。 モデルは外部ツールや辞書を使用して外部の行列を構築し、ゲーティングユニットを通じてトランスフォーマー構造の自己保持層に融合することで、モデル結果に柔軟な修正を可能にする。 提案手法は複数のデータセットで評価し,すべてのデータセットで性能が向上したことを示す。 これらの課題を効果的に解決できることを示すため, フレキシブルな修正実験を行い, 56.61から73.53までF1値が増大することを示した。 私たちのコードは公開されます。

関連論文リスト

• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• What is different between these datasets? [23.271594219577185]
  同じドメイン内の2つの同等のデータセットは、異なる分布を持つ可能性がある。 本稿では,2つのデータセットを比較するための解釈可能な手法(ツールボックス)を提案する。 我々の手法は、説明品質と正確性の観点から比較および関連するアプローチよりも優れているだけでなく、データセットの違いを効果的に理解し軽減するための実用的な補完的な洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-08T19:52:39Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
  異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。 従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。 本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:58:57Z)
• Multimodal Pathway: Improve Transformers with Irrelevant Data from Other Modalities [56.666806962214565]
  我々は,他のモダリティからの無関係なデータを用いて,特定のモダリティのトランスフォーマーを改善することを提案する。 我々は、他のモダリティのデータで訓練された補助変圧器を使用し、2つのモデルのコンポーネントを接続するための経路を構築している。 我々は、他のモダリティの無関係なデータを用いて、顕著で一貫したパフォーマンス改善を観察する。
  論文  参考訳（メタデータ） (2024-01-25T18:59:58Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• QAGAN: Adversarial Approach To Learning Domain Invariant Language Features [0.76146285961466]
  ドメイン不変の特徴を学習するための敵対的学習手法について検討する。 EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
  論文  参考訳（メタデータ） (2022-06-24T17:42:18Z)
• Mixed Transformer U-Net For Medical Image Segmentation [14.046456257175237]
  本稿では,相互親和性学習と親和性学習を同時に行うためのMTMを提案する。 MTMを用いて、正確な医用画像分割のためのMixed Transformer U-Net(MT-UNet)と呼ばれるU字型モデルを構築した。
  論文  参考訳（メタデータ） (2021-11-08T09:03:46Z)
• An AO-ADMM approach to constraining PARAFAC2 on all modes [6.3172660601651]
  乗算器の交互方向法(AO-ADMM)による交互最適化に基づくPARAFAC2の組付けアルゴリズムを提案する。 提案したPARAFAC2 AO-ADMMアプローチは柔軟な制約を許容し、基礎となるパターンを正確に復元し、最先端技術と比較して計算効率が良いことを示す。
  論文  参考訳（メタデータ） (2021-10-04T09:39:01Z)
• Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
  協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。 本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。 ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
  論文  参考訳（メタデータ） (2021-06-14T14:30:32Z)
• StackGenVis: Alignment of Data, Algorithms, and Models for Stacking Ensemble Learning Using Performance Metrics [4.237343083490243]
  機械学習(ML)では、バッグング、ブースティング、スタックングといったアンサンブル手法が広く確立されている。 StackGenVisは、スタック化された一般化のためのビジュアル分析システムである。
  論文  参考訳（メタデータ） (2020-05-04T15:43:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。