Fugu-MT 論文翻訳(概要): Information Retrieval for ZeroSpeech 2021: The Submission by University of Wroclaw

論文の概要: Information Retrieval for ZeroSpeech 2021: The Submission by University of Wroclaw

arxiv url: http://arxiv.org/abs/2106.11603v1
Date: Tue, 22 Jun 2021 08:30:41 GMT
ステータス: 処理完了
システム内更新日: 2021-06-23 14:40:09.944432
Title: Information Retrieval for ZeroSpeech 2021: The Submission by University of Wroclaw
Title（参考訳）: ZeroSpeech 2021の情報検索:Wroclaw大学からの提出
Authors: Jan Chorowski, Grzegorz Ciesielski, Jaros{\l}aw Dzikowski, Adrian {\L}a\'ncucki, Ricard Marxer, Mateusz Opala, Piotr Pusz, Pawe{\l} Rychlikowski, Micha{\l} Stypu{\l}kowski
Abstract要約: 我々は,CPCから派生し,k-meansアルゴリズムでクラスタリングされたベースラインとして,オーガナイザが提案する音声の教師なし表現に基づいて構築する。それらの表現を精製する単純な手法はギャップを狭くしたり、高い計算予算を使う解を改善できることを示した。
参考スコア（独自算出の注目度）: 10.521845940927163
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a number of low-resource approaches to the tasks of the Zero Resource Speech Challenge 2021. We build on the unsupervised representations of speech proposed by the organizers as a baseline, derived from CPC and clustered with the k-means algorithm. We demonstrate that simple methods of refining those representations can narrow the gap, or even improve upon the solutions which use a high computational budget. The results lead to the conclusion that the CPC-derived representations are still too noisy for training language models, but stable enough for simpler forms of pattern matching and retrieval.
Abstract（参考訳）: 本稿では,ゼロリソース音声課題2021の課題に対する低リソースアプローチについて述べる。我々は,CPCから派生し,k-meansアルゴリズムでクラスタリングされたベースラインとして,オーガナイザが提案する音声の教師なし表現に基づいて構築する。それらの表現を精製する単純な手法はギャップを狭くしたり、高い計算予算を使うソリューションを改善することができる。その結果、CPCから派生した表現は、まだ訓練言語モデルにはうるさいが、パターンマッチングと検索の単純な形式には十分安定である、という結論に至った。

関連論文リスト

On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
論文参考訳（メタデータ） (2024-10-11T18:02:46Z)
Class Distribution Shifts in Zero-Shot Learning: Learning Robust Representations [3.8980564330208662]
シフトの原因となる属性が事前に不明であると仮定するモデルを提案する。提案手法は,シミュレーションと実世界のデータセットの両方において,多様なクラス分布の一般化を改善する。
論文参考訳（メタデータ） (2023-11-30T14:14:31Z)
Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。提案手法であるPremiseが実際によく動作することを示す。
論文参考訳（メタデータ） (2023-11-18T00:24:26Z)
Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-24T17:56:46Z)
Representation Learning With Hidden Unit Clustering For Low Resource Speech Applications [37.89857769906568]
本稿では,隠れ単位クラスタリング(HUC)フレームワークを用いた生音声からの自己教師付き表現学習のアプローチについて述べる。モデルへの入力は、ウィンドウ化され、1次元畳み込み層で処理されるオーディオサンプルで構成されている。 HUCフレームワークは、表現を少数の音素のような単位に分類することができ、意味的に豊かな表現を学ぶためのモデルを訓練するために使用される。
論文参考訳（メタデータ） (2023-07-14T13:02:10Z)
GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文参考訳（メタデータ） (2022-11-03T16:42:40Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Variable-rate hierarchical CPC leads to acoustic unit discovery in speech [11.641568891561866]
本研究では,複数レベルのコントラスト予測符号化を適用することで,音声の階層的表現の自己教師型学習について検討する。本稿では,低レベルCPCモジュールの出力が一様でないため,高レベルCPCモジュールの損失を最小化するモデルを提案する。
論文参考訳（メタデータ） (2022-06-05T16:18:27Z)
Language Models in the Loop: Incorporating Prompting into Weak Supervision [11.10422546502386]
本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
論文参考訳（メタデータ） (2022-05-04T20:42:40Z)
Model-free Representation Learning and Exploration in Low-rank MDPs [64.72023662543363]
低位mdpに対して,最初のモデルフリー表現学習アルゴリズムを提案する。主要なアルゴリズムの貢献は新しいミニマックス表現の学習の目的です。結果は複雑な環境にスケールする一般的な関数近似を収容できます。
論文参考訳（メタデータ） (2021-02-14T00:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。