論文の概要: Semantic Complexity in End-to-End Spoken Language Understanding
- arxiv url: http://arxiv.org/abs/2008.02858v1
- Date: Thu, 6 Aug 2020 20:18:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 07:37:03.458210
- Title: Semantic Complexity in End-to-End Spoken Language Understanding
- Title(参考訳): エンドツーエンド音声言語理解における意味的複雑さ
- Authors: Joseph P. McKenna, Samridhi Choudhary, Michael Saxon, Grant P.
Strimel, Athanasios Mouchtaris
- Abstract要約: 本稿では,STIモデルの性能と適用の難しさとの関係を解析する。
論文で報告されているSTIモデルのほぼ完全な性能指標は,意味複雑性の低いデータセットを用いて得られた。
- 参考スコア(独自算出の注目度): 20.184305170102082
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: End-to-end spoken language understanding (SLU) models are a class of model
architectures that predict semantics directly from speech. Because of their
input and output types, we refer to them as speech-to-interpretation (STI)
models. Previous works have successfully applied STI models to targeted use
cases, such as recognizing home automation commands, however no study has yet
addressed how these models generalize to broader use cases. In this work, we
analyze the relationship between the performance of STI models and the
difficulty of the use case to which they are applied. We introduce empirical
measures of dataset semantic complexity to quantify the difficulty of the SLU
tasks. We show that near-perfect performance metrics for STI models reported in
the literature were obtained with datasets that have low semantic complexity
values. We perform experiments where we vary the semantic complexity of a
large, proprietary dataset and show that STI model performance correlates with
our semantic complexity measures, such that performance increases as complexity
values decrease. Our results show that it is important to contextualize an STI
model's performance with the complexity values of its training dataset to
reveal the scope of its applicability.
- Abstract(参考訳): エンドツーエンドの音声言語理解(SLU)モデルは、音声から直接意味論を予測するモデルアーキテクチャのクラスである。
入力型と出力型から,これらをSTIモデルと呼ぶ。
以前の研究では、ホームオートメーションコマンドの認識など、STIモデルを対象ユースケースに適用することに成功したが、これらのモデルがより広範なユースケースに一般化する方法についてはまだ研究されていない。
本研究では,STIモデルの性能と適用するユースケースの難しさとの関係を解析する。
sluタスクの難易度を定量化するために,データセットの意味複雑性の実証的尺度を導入する。
論文で報告されているSTIモデルのほぼ完全な性能指標は,意味複雑性の低いデータセットを用いて得られた。
我々は、大規模でプロプライエタリなデータセットのセマンティックな複雑さを変化させる実験を行い、STIモデルの性能が、複雑性値が減少するにつれてパフォーマンスが増加するようなセマンティックな複雑性測定と相関することを示す。
この結果から,STIモデルの性能をトレーニングデータセットの複雑さ値で文脈的に評価し,適用範囲を明らかにすることが重要であることがわかった。
関連論文リスト
- Learning to Reduce: Optimal Representations of Structured Data in
Prompting Large Language Models [42.16047343029512]
大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。
本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。
入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
論文 参考訳(メタデータ) (2024-02-22T00:41:23Z) - Split and Rephrase with Large Language Models [2.7309692684728617]
Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。
タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
論文 参考訳(メタデータ) (2023-12-18T10:16:37Z) - DeforestVis: Behavior Analysis of Machine Learning Models with Surrogate
Decision Stumps [49.97564931094598]
複雑なMLモデルの振る舞いをユーザフレンドリに要約するビジュアル分析ツールであるDeforestVisを提案する。
DeforestVisは、より多くの切り株をインクリメンタルに生成することで、複雑さとフィデリティのトレードオフを探索するのに役立つ。
DeforestVisの適用性と有用性について,2つのユースケースと,データアナリストとモデル開発者とのエキスパートインタビューで紹介する。
論文 参考訳(メタデータ) (2023-03-31T21:17:15Z) - EvEntS ReaLM: Event Reasoning of Entity States via Language Models [24.077262847151232]
残念なことに、Large Language Model(LLM)は、オブジェクトの相互作用に関する手続き的な知識を公開しています。
特に,本研究の結果は,未確認属性(ドメイン外)や限られたデータしか利用できない場合に特に有用であることが示唆された。
論文 参考訳(メタデータ) (2022-11-10T07:48:01Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳(メタデータ) (2022-05-25T17:37:08Z) - Improving Compositional Generalization with Self-Training for
Data-to-Text Generation [36.973617793800315]
データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。
構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。
擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
論文 参考訳(メタデータ) (2021-10-16T04:26:56Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳(メタデータ) (2021-07-22T20:52:26Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z) - A Systematic Assessment of Syntactic Generalization in Neural Language
Models [20.589737524626745]
本稿では,ニューラルネットワークモデルの構文的知識を体系的に評価する。
モデルアーキテクチャによる構文一般化性能には大きな違いがある。
また, この結果から, パープレキシティと構文一般化性能の解離が明らかとなった。
論文 参考訳(メタデータ) (2020-05-07T18:35:25Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳(メタデータ) (2020-04-17T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。