論文の概要: Disfluency Detection with Unlabeled Data and Small BERT Models

• arxiv url: http://arxiv.org/abs/2104.10769v1
• Date: Wed, 21 Apr 2021 21:24:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-23 14:00:12.799841
• Title: Disfluency Detection with Unlabeled Data and Small BERT Models
• Title（参考訳）: ラベル付きデータと小BERTモデルによる拡散検出
• Authors: Johann C. Rocholl, Vicky Zayats, Daniel D. Walker, Noah B. Murad, Aaron Schneider, Daniel J. Liebling
• Abstract要約: 本稿では,BERTアーキテクチャに基づく小型・高速・オンデバイスモデルに焦点をあてて,ディフルエンシ検出タスクに着目する。 性能を保ちながら1.3 MiB程度の拡散検出モデルを訓練できることを実証する。
• 参考スコア（独自算出の注目度）: 3.04133054437883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Disfluency detection models now approach high accuracy on English text. However, little exploration has been done in improving the size and inference time of the model. At the same time, automatic speech recognition (ASR) models are moving from server-side inference to local, on-device inference. Supporting models in the transcription pipeline (like disfluency detection) must follow suit. In this work we concentrate on the disfluency detection task, focusing on small, fast, on-device models based on the BERT architecture. We demonstrate it is possible to train disfluency detection models as small as 1.3 MiB, while retaining high performance. We build on previous work that showed the benefit of data augmentation approaches such as self-training. Then, we evaluate the effect of domain mismatch between conversational and written text on model performance. We find that domain adaptation and data augmentation strategies have a more pronounced effect on these smaller models, as compared to conventional BERT models.
• Abstract（参考訳）: 分散検出モデルは現在、英語テキストの高精度化に近づいている。 しかし、モデルのサイズと推測時間を改善するための調査はほとんど行われていない。 同時に、自動音声認識(ASR)モデルがサーバサイド推論からローカルデバイスオンデバイス推論へと移行している。 転写パイプラインのモデルのサポート(不規則検出など)は、従わなければならない。 本研究では,BERTアーキテクチャに基づく小型・高速・オンデバイスモデルに焦点をあて,分散検出タスクに集中する。 性能を保ちながら1.3 MiB程度の拡散検出モデルを訓練できることを実証する。 我々は、自己学習のようなデータ強化アプローチの利点を示す以前の研究に基づいて構築した。 そして,会話テキストと文章テキストのドメインミスマッチがモデル性能に及ぼす影響を評価する。 従来のBERTモデルと比較して,ドメイン適応とデータ拡張戦略がこれらの小さなモデルに顕著な影響を及ぼすことがわかった。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Source-Free Test-Time Adaptation For Online Surface-Defect Detection [29.69030283193086]
  テスト時間適応型表面欠陥検出手法を提案する。 推論中にトレーニング済みのモデルを新しいドメインやクラスに適応させる。 実験では、最先端の技術よりも優れています。
  論文  参考訳（メタデータ） (2024-08-18T14:24:05Z)
• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• Beyond Under-Alignment: Atomic Preference Enhanced Factuality Tuning for Large Language Models [19.015202590038996]
  様々な選好学習アルゴリズムによって調整された異なるモデルの事実性を評価する。 textbfAtomic textbfPreference textbfEnhanced textbfFactuality textbfTuning を提案する。
  論文  参考訳（メタデータ） (2024-06-18T09:07:30Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• Inference from Real-World Sparse Measurements [21.194357028394226]
  実世界の問題は、しばしば複雑で非構造的な測定セットが伴うが、これはセンサーが空間または時間に狭く配置されているときに起こる。 セットからセットまで様々な位置で測定セットを処理し、どこででも読み出しを抽出できるディープラーニングアーキテクチャは、方法論的に困難である。 本稿では,適用性と実用的堅牢性に着目したアテンションベースモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-20T13:42:20Z)
• Teaching BERT to Wait: Balancing Accuracy and Latency for Streaming Disfluency Detection [3.884530687475798]
  BERTをベースとしたシーケンスタギングモデルは,リアルタイムに分散を検出することができる。 モデルは、インクリメンタルな拡散検出に関する最近の研究と比較して、最先端のレイテンシと安定性のスコアを得る。
  論文  参考訳（メタデータ） (2022-05-02T02:13:24Z)
• How to Learn when Data Gradually Reacts to Your Model [10.074466859579571]
  我々は,これらの効果が存在する場合でも,性能損失を最小限に抑えるための新しいアルゴリズム Stateful Performative Gradient Descent (Stateful PerfGD) を提案する。 実験の結果, Stateful PerfGD は従来の最先端手法よりもかなり優れていたことが確認された。
  論文  参考訳（メタデータ） (2021-12-13T22:05:26Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。