論文の概要: Test-Time Training for Speech

• arxiv url: http://arxiv.org/abs/2309.10930v2
• Date: Thu, 28 Sep 2023 21:06:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 17:27:36.718078
• Title: Test-Time Training for Speech
• Title（参考訳）: 音声の試験時間学習
• Authors: Sri Harsha Dumpala and Chandramouli Sastry and Sageev Oore
• Abstract要約: 標準音声分類タスクのテストデータセットに分布シフトを導入する。 テスト時間トレーニング(TTT)が分散シフトの調整にどのように役立つかを検討する。
• 参考スコア（独自算出の注目度）: 6.697702130929691
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the application of Test-Time Training (TTT) as a solution to handling distribution shifts in speech applications. In particular, we introduce distribution-shifts to the test datasets of standard speech-classification tasks -- for example, speaker-identification and emotion-detection -- and explore how Test-Time Training (TTT) can help adjust to the distribution-shift. In our experiments that include distribution shifts due to background noise and natural variations in speech such as gender and age, we identify some key-challenges with TTT including sensitivity to optimization hyperparameters (e.g., number of optimization steps and subset of parameters chosen for TTT) and scalability (e.g., as each example gets its own set of parameters, TTT is not scalable). Finally, we propose using BitFit -- a parameter-efficient fine-tuning algorithm proposed for text applications that only considers the bias parameters for fine-tuning -- as a solution to the aforementioned challenges and demonstrate that it is consistently more stable than fine-tuning all the parameters of the model.
• Abstract（参考訳）: 本稿では,TTT(Test-Time Training)の音声応用における分散シフト処理への応用について検討する。 特に、標準音声分類タスク(話者識別や感情検出など)のテストデータセットに分散シフトを導入し、テスト時間トレーニング(TTT)が分散シフトの調整にどのように役立つかを調査する。 性別や年齢などの音声の背景雑音や自然な変化による分布変化を含む実験では、ハイパーパラメータの感度(例えば、TTTに選択されたパラメータの最適化ステップ数やサブセット数)やスケーラビリティ(例えば、各例に独自のパラメータセットがあるため、TTTは拡張性がない)など、TTTのキーチェレを識別する。 最後に,テキストアプリケーションにおいてバイアスパラメータのみを考慮したパラメータ効率の良い微調整アルゴリズムであるbitfitを,上記の課題に対する解決策として提案し,モデルのすべてのパラメータを微調整するよりも一貫して安定であることを実証する。

関連論文リスト

• Adaptive Learn-then-Test: Statistically Valid and Efficient Hyperparameter Selection [35.88667386998423]
  本稿では,AIモデルの集団リスクに対する有限サンプル統計保証を提供するアダプティブ・ラーニング・then-test (aLTT)を導入する。 ALTTはテストラウンドの数を減らし、テストコストのかかるシナリオや安全性のリスクを示すシナリオに適している。
  論文  参考訳（メタデータ） (2024-09-24T08:14:26Z)
• Test-Time Low Rank Adaptation via Confidence Maximization for Zero-Shot Generalization of Vision-Language Models [4.655740975414312]
  本稿では,大規模視覚言語モデル(VLM)のゼロショット一般化のための高速チューニングの代替として,テスト時間低ランク適応(TTL)を提案する。 TTLは、予測信頼度を最大化することにより、変圧器の注意重みを更新するテスト時間効率適応手法を提供する。
  論文  参考訳（メタデータ） (2024-07-22T17:59:19Z)
• Improved Test-Time Adaptation for Domain Generalization [48.239665441875374]
  テストタイムトレーニング(TTT)は、学習したモデルにテストデータを適用する。 この作業は2つの主な要因に対処する: テストフェーズ中にアップデートする信頼性のあるパラメータを更新および識別するための適切な補助的TTTタスクを選択する。 トレーニングされたモデルに適応パラメータを追加し、テストフェーズでのみ適応パラメータを更新することを提案する。
  論文  参考訳（メタデータ） (2023-04-10T10:12:38Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Evaluating Parameter-Efficient Transfer Learning Approaches on SURE Benchmark for Speech Understanding [40.27182770995891]
  ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。 本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-03-02T08:57:33Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• STT: Soft Template Tuning for Few-Shot Adaptation [72.46535261444151]
  我々は、Soft Template Tuning (STT)と呼ばれる新しいプロンプトチューニングフレームワークを提案する。 STTは手動と自動プロンプトを組み合わせて、下流の分類タスクをマスキング言語モデリングタスクとして扱う。 さらに、感情分類タスクにおいて、時間とリソースを消費する微調整方法よりも優れています。
  論文  参考訳（メタデータ） (2022-07-18T07:07:22Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。