論文の概要: Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR
- arxiv url: http://arxiv.org/abs/2610.13432v1
- Date: Fri, 09 Oct 2026 11:34:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.553643
- Title: Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR
- Title(参考訳): ファイナンシャル・スピーチは継続的な学習規則化を必要とするか? : ASRと呼ばれる耳科におけるEWCとミニKFACの検討
- Abstract要約: 一般ドメインの音声コーパスからEarnings22ベンチマークにWhisper-smallを適用すると、その逆が明らかになる。
Mini-Kronecker-Factored Approximate Curvature approximation は単語誤り率を低くする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Earnings call transcription presents a realistic continual learning scenario where Automatic Speech Recognition (ASR) systems are updated with new recordings but risk catastrophic forgetting of previously learned financial speech patterns. Adapting Whisper-small from a general-domain speech corpus to the Earnings22 benchmark reveals the opposite: all evaluated methods exhibit improvement on held-out financial speech from the same domain during adaptation rather than forgetting. This task complementarity makes regularization counterproductive. Nevertheless, when regularization is warranted, a layer-wise mini-Kronecker-Factored Approximate Curvature (mini-KFAC) approximation seems to achieve lower word error rates (WERs) and more stable optimization than standard diagonal Elastic Weight Consolidation (EWC). The results suggest that task complementarity should be assessed before applying continual learning constraints, and prefer mini-KFAC EWC over diagonal EWC when needed.
- Abstract(参考訳): ASR(Automatic Speech Recognition, 自動音声認識)システムが新しい録音で更新されるが、以前に学習した金融音声パターンの破滅的な忘れがちなリスクを負うという現実的な連続学習シナリオが提示される。
一般ドメインの音声コーパスからEarnings22ベンチマークにWhisper-smallを適応させると、その逆が示される。
このタスクの相補性は正規化を非生産的にする。
それでも、正規化が保証されると、レイヤーワイドのミニクロネッカー型近似曲線 (mini-KFAC) 近似は、標準対角方向の弾性重み強化 (EWC) よりも低いワード誤り率 (WER) とより安定した最適化を実現する。
その結果、連続的な学習制約を適用する前にタスク補完性を評価すべきであり、必要に応じて対角的EWCよりもミニKFAC EWCを好むことが示唆された。
関連論文リスト
- DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs [54.94557715360404]
音声-LLMは、しばしばプロンプトオーバーフィッティングを示し、自動音声認識(ASR)命令にのみ訓練されたモデルは、音声翻訳のような新しい命令への一般化に失敗する。
DirectSpeech2LLMは,LLMの指示追従能力を保持するシンプルなエンドツーエンドフレームワークである。
論文 参考訳(メタデータ) (2026-10-06T10:16:49Z) - The Sequential Price of Continual Learning [28.30104646642165]
逐次的なタスク更新は継続的学習には基本的だが、その傾向バイアスは持続的なパフォーマンスコストを課す可能性がある。
分布レベルの忘れ込みと人口減少は、同じ定常限界に収束することを示す。
Jesterのジョークランキングデータセットでは、この理論は自然にユーザーの嗜好に反して生成されるシーケンシャルな価格と、EWCによる減価の両方を正確に定量化している。
論文 参考訳(メタデータ) (2026-08-30T14:27:18Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳(メタデータ) (2026-07-30T16:20:58Z) - SuCo: Sufficiency-guided Continuous Adaptive Reasoning [59.17222918775686]
大型共振モデル(LRM)は、しばしば超長鎖(CoT)を生成する。
この非効率を緩和するための既存の取り組みは、通常、個別の推論モードや固定予算層に依存します。
我々は,CoTトラジェクトリの最短接頭辞として定義された最小サフィシエント CoT (MSC) を導入する。
論文 参考訳(メタデータ) (2026-06-16T08:52:15Z) - Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization [18.737087162461563]
テストタイムの計算スケーリングは、大規模言語モデルのパフォーマンスを向上させるための強力なレバーとなっている。
しかし、これらのテクニックを有限の推論予算の下で展開するには、現在のシステムがほとんど無視する決定が必要である。
我々はこれを制約付き最適化問題(平均計算予算の予測精度を最大化する)として定式化し、2段階のソルベ・テン・ラーンパイプラインで解いた。
論文 参考訳(メタデータ) (2026-04-16T10:39:22Z) - Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳(メタデータ) (2026-04-14T18:19:54Z) - TASU2: Controllable CTC Simulation for Alignment and Low-Resource Adaptation of Speech LLMs [24.987107011376082]
音声LLMポストトレーニングは、効率的なクロスモーダルアライメントとロバストな低リソース適応に依存している。
TASUのようなテキストのみのアライメント手法は、CTC後部を転写からシミュレートすることで、この負担を軽減する。
WERの範囲でCTC後部分布をシミュレートする制御可能なCTCシミュレーションフレームワークである textbfTASU2 を提案する。
論文 参考訳(メタデータ) (2026-04-09T15:44:45Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2025-04-07T18:30:18Z) - Understanding and Mitigating Miscalibration in Prompt Tuning for Vision-Language Models [22.501089777956654]
信頼性のキャリブレーションは、現実世界における機械学習モデルの安全なデプロイに不可欠である。
既存のプロンプトチューニング手法は、通常、ベースクラスと新しいクラスのキャリブレーションのトレードオフにつながる。
微調整後, 基本クラスと新クラスの信頼性校正を確保するために, ダイナミック・アウトレイラ正規化を導入する。
論文 参考訳(メタデータ) (2024-10-03T17:06:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。