論文の概要: What Does Each Part of Speech Need? Contexts, Subspaces and Dimensions in Static Word Embeddings
- arxiv url: http://arxiv.org/abs/2611.15114v1
- Date: Wed, 11 Nov 2026 06:46:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.068727
- Title: What Does Each Part of Speech Need? Contexts, Subspaces and Dimensions in Static Word Embeddings
- Title(参考訳): 音声の各部分には何が必要か : 静的な単語埋め込みにおける文脈, 部分空間, 次元
- Abstract要約: 音声タグ付きテキストのトレーニングは、各関数に独自のベクトルを与える。
単語のベクターが何であるかは、音声の一部で決定される。
- 参考スコア(独自算出の注目度): 26.694947234562765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Static word embeddings give a word one vector, ignoring its different functions as noun, verb or adjective. Training on part-of-speech-tagged text gives each function its own vector, at the cost of a larger table. Using nine controlled corpora, we ask which context words each part of speech needs, whether it needs its own subspace, and whether the number of dimensions a word keeps should follow its part of speech or its frequency. The tags raise verb similarity on SimVerb-3500 at every dimension from 50 to 300 but help nouns much less. Added to verb-only text, adverbs help verbs more than as many random words; adjectives help nouns only slightly. At a fixed dimension, per-part-of-speech PCA bases preserve verb and adjective similarity better than a global basis or frequency-band bases. Nouns need more dimensions than verbs only among frequent words. We therefore allocate dimensions by frequency with these bases: at a third of the original size, only rare words lose dimensions, SimVerb-3500 and SimLex-999 nouns match the uncompressed table, and verb-to-noun retrieval stays within 0.02. Part of speech decides what a word's vector should be; frequency decides how much of it to keep.
- Abstract(参考訳): 静的な単語埋め込みは単語1つのベクトルを与え、その異なる機能を名詞、動詞、形容詞として無視する。
音声タグ付きテキストのトレーニングは、より大きなテーブルを犠牲にして、各関数に独自のベクトルを与える。
9つの制御されたコーパスを用いて、音声の各部分に必要な文脈語、その部分空間が必要かどうか、単語が保持する次元の数が音声のどの部分や周波数に従うべきかを問う。
タグは、SimVerb-3500で50から300の次元で動詞の類似性を高めるが、名詞をはるかに少なくする。
動詞のみのテキストに加え、副詞は動詞を多くのランダムな単語以上に助け、形容詞は名詞を少しだけ助ける。
固定次元では、音声毎のPCAベースは、大域的ベースや周波数帯域ベースよりも動詞と形容詞の類似性を保っている。
名詞は、頻繁な単語の中でのみ動詞よりも多くの次元を必要とする。
そこで,本研究では,従来の単語の3分の1は次元を減らし,SimVerb-3500およびSimLex-999名詞は非圧縮テーブルと一致し,動詞と名詞の検索は0.02以内にとどまった。
単語のベクターが何であるかは、音声の一部で決定される。
関連論文リスト
- Semantic Space of Parts of Speech [0.0]
言語分類の一部は、ヨーロッパの言語伝統においてクリップ分類として理解されている。
割り当てられたカテゴリは、主にアノテーションマニュアルに蒸留された任意の決定によって決定される。
本研究は、フランス語、チェコ語、フィンランド語、ロシア語、英語のUniversal Dependencies POSタグを使用する。
論文 参考訳(メタデータ) (2026-08-15T22:56:27Z) - Vocab Diet: Reshaping the Vocabulary of LLMs with Vector Arithmetic [9.273273023595065]
大型言語モデル (LLM) は「ウォーク」>「ウォーク」のような単語形式のバリエーションを埋め込み空間における線形方向としてエンコードする。
標準的なトークン化アルゴリズムは、これらのバリエーションを異なるトークンとして扱う。
本稿では,各面形状に一意なトークンを割り当てるのではなく,共有基底形状と変換ベクトルから構成する,語彙のコンパクトな再構成を提案する。
論文 参考訳(メタデータ) (2025-10-19T20:56:58Z) - Boosting word frequencies in authorship attribution [0.0]
本稿では,著者帰属や類似のテクスチャタスクに対して,比較的簡単な単語頻度計算手法を提案する。
関連する単語の概念は同義語を含み、通常、ある意味的にある単語に類似したいくつかの他の単語を含む。
提案手法は古典的最頻単語のアプローチを大幅に上回る。
論文 参考訳(メタデータ) (2022-11-02T17:11:35Z) - Simple, Interpretable and Stable Method for Detecting Words with Usage
Change across Corpora [54.757845511368814]
2つの文体を比較し、その用法が異なる単語を探すという問題は、しばしばデジタル人文科学や計算社会科学において生じる。
これは一般に、各コーパスに単語の埋め込みを訓練し、ベクトル空間を整列させ、整列空間における余弦距離が大きい単語を探すことでアプローチされる。
本稿では,ベクトル空間アライメントを使わず,各単語の近傍を考慮した代替手法を提案する。
論文 参考訳(メタデータ) (2021-12-28T23:46:00Z) - SubICap: Towards Subword-informed Image Captioning [37.42085521950802]
単語をより小さな構成単位「サブワード」に分解し、字幕を単語の代わりにサブワードの列として表現する。
本システムでは,学習語彙サイズをベースラインより約90%小さくすることで,様々な測定値を改善する。
論文 参考訳(メタデータ) (2020-12-24T06:10:36Z) - Principal Components of the Meaning [58.720142291102135]
科学における(語彙的な)意味は、13次元の意味空間で表すことができる。
この空間は、単語カテゴリ相対情報ゲインの行列上の主成分分析(特異分解)を用いて構成される。
論文 参考訳(メタデータ) (2020-09-18T14:28:32Z) - Using Holographically Compressed Embeddings in Question Answering [0.0]
本研究では,事前学習した埋め込みのホログラフィック圧縮を用いてトークン,そのパート・オブ・音声,名前付きエンティティタイプを表現する。
この実装は、修正された質問応答の繰り返しディープラーニングネットワークにおいて、意味的関係が保存され、高い性能が得られることを示す。
論文 参考訳(メタデータ) (2020-07-14T18:29:49Z) - On the Relationships Between the Grammatical Genders of Inanimate Nouns
and Their Co-Occurring Adjectives and Verbs [57.015586483981885]
我々は6つの異なるジェンダー言語で大規模コーパスを使用する。
名詞の文法的性別とそれらの名詞を直接対象、間接対象、主語とする動詞との間に統計的に有意な関連性を見出した。
論文 参考訳(メタデータ) (2020-05-03T22:49:44Z) - Informational Space of Meaning for Scientific Texts [68.8204255655161]
本稿では,単語の意味を,テキストが属する対象カテゴリに関する相対情報ゲイン(RIG)のベクトルで表現する意味空間を紹介する。
Leicester Scientific Corpus (LSC) と Leicester Scientific Dictionary-Core (LScDC) に基づく意味空間の構築に本手法を適用した。
RIGに基づく提案モデルでは,カテゴリ内の話題特化語を際立たせる能力があることが示されている。
論文 参考訳(メタデータ) (2020-04-28T14:26:12Z) - Unsupervised Speech Decomposition via Triple Information Bottleneck [63.55007056410914]
音声情報は、言語内容、音色、ピッチ、リズムの4つの構成要素に大別できる。
本稿では,3つの慎重に設計された情報ボトルネックを導入することで,音声をその4つの構成要素に盲目的に分解できるSpeechSplitを提案する。
論文 参考訳(メタデータ) (2020-04-23T16:12:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。