論文の概要: Can Your Model Tell a Negation from an Implicature? Unravelling Challenges With Intent Encoders

• arxiv url: http://arxiv.org/abs/2403.04314v1
• Date: Thu, 7 Mar 2024 08:32:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 14:46:43.630812
• Title: Can Your Model Tell a Negation from an Implicature? Unravelling Challenges With Intent Encoders
• Title（参考訳）: あなたのモデルは模倣から否定を区別できますか。 インテントエンコーダによる課題の解決
• Authors: Yuwei Zhang, Siffi Singh, Sailik Sengupta, Igor Shalyminov, Hang Su, Hwanjun Song, Saab Mansour
• Abstract要約: 大きな言語モデル(LLM)は、プロンプトを使って埋め込み空間のセマンティクスを調整できる埋め込みを可能にする。 従来の評価ベンチマークは、セマンティック理解に関連するギャップを特に計測しないタスクメトリクスのみに依存しています。 インテント埋め込みモデルのより包括的なビューを提供するインテントセマンティックツールキットを提案する。
• 参考スコア（独自算出の注目度）: 24.42199777529863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational systems often rely on embedding models for intent classification and intent clustering tasks. The advent of Large Language Models (LLMs), which enable instructional embeddings allowing one to adjust semantics over the embedding space using prompts, are being viewed as a panacea for these downstream conversational tasks. However, traditional evaluation benchmarks rely solely on task metrics that don't particularly measure gaps related to semantic understanding. Thus, we propose an intent semantic toolkit that gives a more holistic view of intent embedding models by considering three tasks-- (1) intent classification, (2) intent clustering, and (3) a novel triplet task. The triplet task gauges the model's understanding of two semantic concepts paramount in real-world conversational systems-- negation and implicature. We observe that current embedding models fare poorly in semantic understanding of these concepts. To address this, we propose a pre-training approach to improve the embedding model by leveraging augmentation with data generated by an auto-regressive model and a contrastive loss term. Our approach improves the semantic understanding of the intent embedding model on the aforementioned linguistic dimensions while slightly effecting their performance on downstream task metrics.
• Abstract（参考訳）: 会話システムは、しばしば意図分類と意図的クラスタリングタスクのための埋め込みモデルに依存する。 インストラクショナル組込みを可能にする大規模言語モデル(llms)の出現は、プロンプトを使用して埋め込み空間上で意味を調整可能にする。 しかしながら、従来の評価ベンチマークは、意味理解に関するギャップを特に測定しないタスクメトリクスのみに依存しています。 そこで本研究では,(1)意図分類,(2)意図クラスタリング,(3)新規な三重項タスクを考慮し,意図埋め込みモデルのより包括的なビューを提供する意図意味的ツールキットを提案する。 トリプレットタスクは、実世界の会話システムにおいて最も重要な2つの意味概念のモデルの理解を計測する。 現在の埋め込みモデルは、これらの概念のセマンティックな理解が不十分である。 そこで本研究では,自己回帰モデルと対照損失項を併用することで組込みモデルを改善するための事前学習手法を提案する。 提案手法は,上記言語次元における意図埋め込みモデルのセマンティック理解を改善しつつ,下流タスクメトリクスの性能にわずかに影響を及ぼす。

関連論文リスト

• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
  本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。 第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。 マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T08:06:22Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• A Simple Meta-learning Paradigm for Zero-shot Intent Classification with Mixture Attention Mechanism [17.228616743739412]
  ゼロショット意図分類のためのシンプルなメタ学習パラダイムを提案する。 発話のセマンティック表現を改善するために,新しい混合アテンション機構を導入する。 そこで我々は, メタ学習戦略を用いて, ゼロショット意図分類を改定する。
  論文  参考訳（メタデータ） (2022-06-05T13:37:51Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Generalized Zero-shot Intent Detection via Commonsense Knowledge [5.398580049917152]
  学習データ不足の問題を克服するために,教師なしの方法でコモンセンス知識を活用する意図検出モデル RIDE を提案する。 RIDEは、発話と意図ラベルの間の深い意味的関係をキャプチャする、堅牢で一般化可能な関係メタ機能を計算する。 広範に使用されている3つのインテント検出ベンチマークに関する広範囲な実験的分析により、関係メタ機能により、目に見えないインテントと見えないインテントの両方を検出する精度が著しく向上することが示された。
  論文  参考訳（メタデータ） (2021-02-04T23:36:41Z)
• Example-Driven Intent Prediction with Observers [15.615065041164629]
  本稿では,対話システムに宛てた発話に対して,ユーザの意図を識別することを目的とした意図分類問題に焦点をあてる。 本稿では,(1)観察者および(2)サンプル駆動学習という,発話分類モデルの一般化性向上のための2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-17T01:03:06Z)
• Toward Interpretability of Dual-Encoder Models for Dialogue Response Suggestions [18.117115200484708]
  本稿では、2つのエンコーダから抽出した単語レベルの特徴の上位にアテンション機構を含む注意型二重エンコーダモデルを提案する。 我々は、重要でない単語と望ましいラベルの相互情報を最小化するために、新しい正規化損失を設計する。 実験では、Recall@1の精度と可視性の観点から、提案モデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-03-02T21:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。