論文の概要: Are word boundaries useful for unsupervised language learning?
- arxiv url: http://arxiv.org/abs/2210.02956v1
- Date: Thu, 6 Oct 2022 14:49:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 16:25:55.719451
- Title: Are word boundaries useful for unsupervised language learning?
- Title(参考訳): 単語境界は教師なし言語学習に役立つか?
- Authors: Tu Anh Nguyen, Maureen de Seyssel, Robin Algayres, Patricia Roze, Ewan
Dunbar, Emmanuel Dupoux
- Abstract要約: 単語は少なくとも2種類の関連情報(境界情報と意味単位)を提供する。
音声入力の場合,単語境界情報が欠落しているか,信頼できないかを示す。
我々は,非教師付きセグメンテーションアルゴリズムで得られたゴールド境界を,自動的に検出した領域に置き換えることができることを示す。
- 参考スコア(独自算出の注目度): 13.049946284598935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Word or word-fragment based Language Models (LM) are typically preferred over
character-based ones in many downstream applications. This may not be
surprising as words seem more linguistically relevant units than characters.
Words provide at least two kinds of relevant information: boundary information
and meaningful units. However, word boundary information may be absent or
unreliable in the case of speech input (word boundaries are not marked
explicitly in the speech stream). Here, we systematically compare LSTMs as a
function of the input unit (character, phoneme, word, word part), with or
without gold boundary information. We probe linguistic knowledge in the
networks at the lexical, syntactic and semantic levels using three
speech-adapted black box NLP psycholinguistically-inpired benchmarks (pWUGGY,
pBLIMP, pSIMI). We find that the absence of boundaries costs between 2\% and
28\% in relative performance depending on the task. We show that gold
boundaries can be replaced by automatically found ones obtained with an
unsupervised segmentation algorithm, and that even modest segmentation
performance gives a gain in performance on two of the three tasks compared to
basic character/phone based models without boundary information.
- Abstract(参考訳): 単語または単語フレームベースの言語モデル(LM)は、多くの下流アプリケーションにおいて文字ベースの言語モデルよりも好まれる。
単語は文字よりも言語的に関連のある単位に見えるので、これは驚くことではないかもしれない。
単語は少なくとも2種類の関連情報(境界情報と意味単位)を提供する。
しかし、音声入力の場合、単語境界情報は欠落または信頼できない場合がある(単語境界は音声ストリームでは明示的にマークされない)。
ここでは,LSTMを入力単位(文字,音素,単語,単語部分)と金境界情報の有無の関数として体系的に比較する。
pWUGGY, pBLIMP, pSIMI の3つの言語適応ブラックボックス NLP を用いて, 語彙, 構文, 意味レベルでの言語知識を探索した。
境界の欠如は、タスクによる相対的なパフォーマンスにおいて2\%から28\%のコストがかかることが判明した。
教師なしセグメンテーションアルゴリズムで得られたゴールドバウンダリを自動的に検出することで,ゴールドバウンダリを置き換えることが可能であること,また境界情報のない基本文字/電話モデルと比較して,モデストセグメンテーション性能でも2つのタスクにおいて性能が向上することを示した。
関連論文リスト
- Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳(メタデータ) (2024-03-26T12:47:39Z) - Wav2Gloss: Generating Interlinear Glossed Text from Speech [78.64412090339044]
音声から4つの言語アノテーションを自動抽出するタスクであるWav2Glossを提案する。
音声からのインターリニア・グロッシド・テキスト・ジェネレーションの今後の研究の基盤となる基盤となるものについて述べる。
論文 参考訳(メタデータ) (2024-03-19T21:45:29Z) - XLS-R fine-tuning on noisy word boundaries for unsupervised speech
segmentation into words [13.783996617841467]
XLS-Rモデルを微調整し、上位層音声分割システムによって生成された単語境界を予測する。
我々のシステムは、ゼロショット方式で微調整中に目に見えない言語から音声を分割することができる。
論文 参考訳(メタデータ) (2023-10-08T17:05:00Z) - Towards Unsupervised Recognition of Token-level Semantic Differences in
Related Documents [61.63208012250885]
意味的差異をトークンレベルの回帰タスクとして認識する。
マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。
その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
論文 参考訳(メタデータ) (2023-05-22T17:58:04Z) - I2DFormer: Learning Image to Document Attention for Zero-Shot Image
Classification [123.90912800376039]
オンラインテキスト文書(例えばウィキペディア)には、オブジェクトクラスに関する豊富な視覚的記述が含まれている。
画像や文書のエンコードを共同で学習するトランスフォーマーベースのZSLフレームワークであるI2DFormerを提案する。
提案手法は,画像領域に文書語を接地可能な高解釈可能な結果をもたらす。
論文 参考訳(メタデータ) (2022-09-21T12:18:31Z) - DP-Parse: Finding Word Boundaries from Raw Speech with an Instance
Lexicon [18.05179713472479]
DP-Parseも同様の原理を用いるが、ワードトークンのインスタンスレキシコンにのみ依存する。
Zero Resource Speech Benchmark 2017で、我々のモデルは5つの言語で新しい音声セグメンテーション状態を設定する。
型レキシコンが欠如しているにもかかわらず、DP-Parseは言語モデルにパイプライン化され、新しい音声単語埋め込みベンチマークで評価されるように、セマンティック表現を学ぶことができる。
論文 参考訳(メタデータ) (2022-06-22T19:15:57Z) - Between words and characters: A Brief History of Open-Vocabulary
Modeling and Tokenization in NLP [22.772546707304766]
単語と文字のハイブリッドなアプローチと,学習セグメンテーションに基づくサブワードベースのアプローチが提案され,評価されていることを示す。
すべてのアプリケーションに対して銀の弾丸特異解が存在することはあり得ない。
論文 参考訳(メタデータ) (2021-12-20T13:04:18Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - On the Difficulty of Segmenting Words with Attention [32.97060026226872]
しかし、モノリンガルデータでさえこのアプローチは脆弱であることを示す。
異なる入力タイプ、データサイズ、セグメンテーションアルゴリズムの実験では、単語から電話を予測するために訓練されたモデルのみがタスクを成功させる。
論文 参考訳(メタデータ) (2021-09-21T11:37:08Z) - UCPhrase: Unsupervised Context-aware Quality Phrase Tagging [63.86606855524567]
UCPhraseは、教師なしの文脈対応のフレーズタグである。
我々は,一貫した単語列から,高品質なフレーズを銀のラベルとして表現する。
我々の設計は、最先端の事前訓練、教師なし、遠隔管理の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-05-28T19:44:24Z) - Catplayinginthesnow: Impact of Prior Segmentation on a Model of Visually
Grounded Speech [24.187382590960254]
子どもたちは、音声入力を音素に分割し、そこから単語を組み立てることで、語彙を作らない。
これは、言語を学ぶ理想的な方法は、完全なセマンティックユニットから始めることである。
本稿では、RNNモデルにそのような情報を導入し、どのタイプの境界が最も効率的かを調べるための簡単な方法を提案する。
論文 参考訳(メタデータ) (2020-06-15T13:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。