Fugu-MT 論文翻訳(概要): Pragmatic Constraint on Distributional Semantics

論文の概要: Pragmatic Constraint on Distributional Semantics

arxiv url: http://arxiv.org/abs/2211.11041v1
Date: Sun, 20 Nov 2022 17:51:06 GMT
ステータス: 処理完了
システム内更新日: 2022-11-22 18:11:05.692866
Title: Pragmatic Constraint on Distributional Semantics
Title（参考訳）: 分布意味論における実用的制約
Authors: Elizaveta Zhemchuzhina and Nikolai Filippov and Ivan P. Yamshchikov
Abstract要約: Zipf-lawトークン分布は,選択したトークン化に関係なく出現することを示す。 Zipfの分布は2つの異なるトークン群によって特徴づけられ、その頻度と意味の両面で異なることを示す。
参考スコア（独自算出の注目度）: 6.091096843566857
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper studies the limits of language models' statistical learning in the context of Zipf's law. First, we demonstrate that Zipf-law token distribution emerges irrespective of the chosen tokenization. Second, we show that Zipf distribution is characterized by two distinct groups of tokens that differ both in terms of their frequency and their semantics. Namely, the tokens that have a one-to-one correspondence with one semantic concept have different statistical properties than those with semantic ambiguity. Finally, we demonstrate how these properties interfere with statistical learning procedures motivated by distributional semantics.
Abstract（参考訳）: 本稿では,Zipf法則の文脈における言語モデルの統計的学習限界について検討する。まず、選択したトークン化に関係なくZipf-lawトークン分布が現れることを示す。第二に,zipf分布は,その頻度と意味の両面で異なる2つの異なるトークン群によって特徴づけられることを示す。すなわち、一つの意味概念と1対1の対応を持つトークンは、意味曖昧性を持つトークンとは異なる統計的特性を持つ。最後に,これらの特性が分布意味論に動機づけられた統計的学習手順にどのように干渉するかを示す。

関連論文リスト

Are LLMs Models of Distributional Semantics? A Case Study on Quantifiers [14.797001158310092]
分布意味論モデルは真理条件推論や記号処理に苦しむ。期待とは対照的に、LSMは正確な量化器とあいまいな量化器の人間の判断とより密接に一致している。
論文参考訳（メタデータ） (2024-10-17T19:28:35Z)
The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
論文参考訳（メタデータ） (2024-07-16T11:12:28Z)
Beyond Demographic Parity: Redefining Equal Treatment [23.28973277699437]
等価治療の概念の理論的性質を示し, 同等治療検査者のAUCに基づく2サンプル試験を考案した。 textttexplanationspaceは、Pythonのオープンソースパッケージで、メソッドとチュートリアルがあります。
論文参考訳（メタデータ） (2023-03-14T16:19:44Z)
Learning versus Refutation in Noninteractive Local Differential Privacy [133.80204506727526]
非対話的局所差分プライバシー(LDP)における2つの基本的な統計課題について検討する。本研究の主な成果は,非対話型LDPプロトコルにおけるPAC学習の複雑さの完全な評価である。
論文参考訳（メタデータ） (2022-10-26T03:19:24Z)
Label Uncertainty Modeling and Prediction for Speech Emotion Recognition using t-Distributions [15.16865739526702]
本稿では,学生のt分布を用いたラベル分布のモデル化を提案する。我々は、対応するKulback-Leibler分散に基づく損失関数を導出し、感情ラベルの分布を推定するための推定器を訓練する。その結果,我々のt分布に基づくアプローチは,最先端の不確実性モデリングの結果を伴うガウス的アプローチよりも改善されていることが明らかとなった。
論文参考訳（メタデータ） (2022-07-25T12:38:20Z)
Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文参考訳（メタデータ） (2022-03-16T15:00:33Z)
Label Distribution Amendment with Emotional Semantic Correlations for Facial Expression Recognition [69.18918567657757]
意味空間における表現間の相関を利用して,各顔画像のラベル分布を補正する手法を提案する。各画像のセマンティックグラフとタスククラス関連グラフを比較することにより、そのラベル分布の信頼性を評価する。実験により,提案手法は最先端手法と比較した場合よりも有効であることが示された。
論文参考訳（メタデータ） (2021-07-23T07:46:14Z)
Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
論文参考訳（メタデータ） (2021-06-10T11:58:25Z)
On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
論文参考訳（メタデータ） (2020-11-02T13:14:57Z)
The empirical structure of word frequency distributions [0.0]
私は、ほとんどの言語で、ファーストネームが自然なコミュニケーションの分布を形成することを示します。このパターンは、英語の名詞と動詞のコミュニケーション的分布において複製されることを示す。
論文参考訳（メタデータ） (2020-01-09T20:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。