論文の概要: Seeds Before Objectives: Rethinking Evaluation for Low-Resource Garhwali ASR
- arxiv url: http://arxiv.org/abs/2608.10670v1
- Date: Tue, 11 Aug 2026 08:51:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.966854
- Title: Seeds Before Objectives: Rethinking Evaluation for Low-Resource Garhwali ASR
- Title(参考訳): 目的前の種子:低リソースのGarhwali ASRの評価を再考する
- Abstract要約: 我々は、公式なVAANI上で、最初の再現可能なマルチシードASRベンチマークを構築した。
可塑性ゲインは壊れやすいが,標準CTCのw2v-BERT 2.0は5種に対して47.0% WERに達する。
パラメータ数ではなく設計を事前訓練し、性能を駆動し、スピード向上によって、小さく、ほぼ一貫した利得が得られる。
- 参考スコア(独自算出の注目度): 2.6227294594747117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: At corpus sizes typical of low-resource dialects, single-run comparisons can yield gains that do not replicate. We show this for Garhwali, an under-resourced Indo-Aryan language of the central Himalaya, building the first reproducible multi-seed ASR benchmark on the official VAANI splits, with per-seed outputs and significance testing. Re-examining plausible gains, we find them fragile: neither Focal CTC nor a matra-weighted objective beats standard CTC under seed-level testing, the matra objective fails to cut even its targeted errors, and Hindi-to-Garhwali transfer gives no gain over direct fine-tuning. What holds up is mundane: w2v-BERT 2.0 with standard CTC reaches 47.0% WER over five seeds, beating the larger MMS-1B and comparable models; pretraining design, not parameter count, drives performance, and speed augmentation gives a small, largely consistent gain. Multi-seed evaluation on official splits separates real gains from seed noise.
- Abstract(参考訳): 低リソース方言に典型的なコーパスサイズでは、シングルラン比較は複製しない利得が得られる。
ヒマラヤ中部の低リソースのインド・アーリア語であるGarhwali氏は、公式なVAANIスプリット上で、最初の再現可能なマルチシードASRベンチマークを構築した。
フーカルCTCもマトラ重み付け目標も、シードレベルのテストでは標準CTCを上回り、マトラ目標が目標誤差をカットしても失敗し、ヒンディー語からガルワリ語への移動は直接微調整よりも利得が得られない。
標準のCTCを持つw2v-BERT 2.0は5つの種に対して47.0% WERに達し、MMS-1Bと同等のモデルを上回っている。
公的な分割に関するマルチシード評価は、実利得とシードノイズを分離する。
関連論文リスト
- PRIME: Mitigating Subgroup Optimization Competition in Shared CTR Top Networks with Plug-in Residual Input-Conditioned Mixture of Expert [16.073701450851008]
4つのモデルと4つのセマンティックフィールドを持つアバズ上での競合について検討する。
我々は,低ランクの残留専門家を混在させたPRIME(Plug-in Residual Input- Conditioned Mixture of Experts)を紹介する。
論文 参考訳(メタデータ) (2026-08-31T08:37:44Z) - Do Foundation Model Embeddings Improve Cross-Country Crop Yield Generalisation? A Leave-One-Country-Out Evaluation in Sub-Saharan Africa [0.0]
本稿では,従来のSentinel-2スペクトル特性よりも優れた地空間基盤モデル,特にPrithvi-EO-1.0-100MとViT-Baseが組み込まれているかを評価する。
内国ランダムなクロスバリデーションは適度なR2値をもたらすが、すべての特徴集合はクロスカントリーテストでは不十分に機能する。
論文 参考訳(メタデータ) (2026-04-27T22:03:20Z) - Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク
提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。
HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
論文 参考訳(メタデータ) (2025-10-12T05:38:10Z) - Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。
学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。
複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
論文 参考訳(メタデータ) (2025-02-20T23:18:39Z) - How to Prune Your Language Model: Recovering Accuracy on the "Sparsity
May Cry'' Benchmark [60.72725673114168]
下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。
そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
論文 参考訳(メタデータ) (2023-12-21T03:11:30Z) - CTC-based Non-autoregressive Speech Translation [51.37920141751813]
非自己回帰音声翻訳における接続性時間分類の可能性について検討する。
我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。
MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
論文 参考訳(メタデータ) (2023-05-27T03:54:09Z) - On the Complementarity between Pre-Training and Random-Initialization
for Resource-Rich Machine Translation [80.16548523140025]
テキスト表現の事前学習(PT)が低リソースニューラルネットワーク翻訳(NMT)に成功している
本稿では,それらの相補性と,PTとRIを協調させる最適輸送を用いたモデル融合アルゴリズムを提案する。
WMT'17 English- Chinese (20M) と WMT'19 English-German (36M) の2つのリソース豊富な翻訳ベンチマークの実験は、PT と RI が相互に相補的であることを示した。
論文 参考訳(メタデータ) (2022-09-07T17:23:08Z) - Mismatching-Aware Unsupervised Translation Quality Estimation For
Low-Resource Languages [6.049660810617423]
XLMRScoreは、XLM-RoBERTa (XLMR)モデルで計算されたBERTScoreの言語間対応である。
WMT21QE共有タスクの4つの低リソース言語対に対して提案手法を評価する。
論文 参考訳(メタデータ) (2022-07-31T16:23:23Z) - Boosting Randomized Smoothing with Variance Reduced Classifiers [4.110108749051657]
ランダム化平滑化(Randomized Smoothing, RS)のベースモデルとして, アンサンブルが特に適した選択である理由を考察する。
我々は、この選択を実証的に確認し、複数の設定でアート結果の状態を取得する。
論文 参考訳(メタデータ) (2021-06-13T08:40:27Z) - PARP: Prune, Adjust and Re-Prune for Self-Supervised Speech Recognition [78.67749936030219]
Prune-Adjust-Re-Prune (PARP) は、より優れたASR性能を実現するための細工品を発見する。
低リソースの英語および多言語ASRの実験では、事前訓練された音声SSLにスパースワークが存在する。
論文 参考訳(メタデータ) (2021-06-10T17:32:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。