論文の概要: To Know by the Company Words Keep and What Else Lies in the Vicinity
- arxiv url: http://arxiv.org/abs/2205.00148v1
- Date: Sat, 30 Apr 2022 03:47:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-05 08:16:37.972032
- Title: To Know by the Company Words Keep and What Else Lies in the Vicinity
- Title(参考訳): 企業における言葉の保存とヴァイシニティにおける嘘
- Authors: Jake Ryland Williams and Hunter Scott Heidenreich
- Abstract要約: 本稿では,GloVe や Word2Vec など,セミナルアルゴリズムによって学習された統計データの解析モデルを提案する。
われわれの知る限りでは、Word2Vecのソフトマックス最適化、スキップグラムアルゴリズムの最初の既知のソリューションである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of state-of-the-art (SOTA) Natural Language Processing (NLP)
systems has steadily been establishing new techniques to absorb the statistics
of linguistic data. These techniques often trace well-known constructs from
traditional theories, and we study these connections to close gaps around key
NLP methods as a means to orient future work. For this, we introduce an
analytic model of the statistics learned by seminal algorithms (including GloVe
and Word2Vec), and derive insights for systems that use these algorithms and
the statistics of co-occurrence, in general. In this work, we derive -- to the
best of our knowledge -- the first known solution to Word2Vec's
softmax-optimized, skip-gram algorithm. This result presents exciting potential
for future development as a direct solution to a deep learning (DL) language
model's (LM's) matrix factorization. However, we use the solution to
demonstrate a seemingly-universal existence of a property that word vectors
exhibit and which allows for the prophylactic discernment of biases in data --
prior to their absorption by DL models. To qualify our work, we conduct an
analysis of independence, i.e., on the density of statistical dependencies in
co-occurrence models, which in turn renders insights on the distributional
hypothesis' partial fulfillment by co-occurrence statistics.
- Abstract(参考訳): 最先端(SOTA)自然言語処理(NLP)システムの開発は、言語データの統計を吸収する新しい手法を着実に確立している。
これらの手法は、しばしば従来の理論からよく知られた構造を辿り、これらの接続をキーNLP法を取り巻く密接なギャップを将来の作業の方向性として研究する。
そこで,本研究では,本アルゴリズムを用いたシステムに対する洞察の導出として,seminalアルゴリズム(globとword2vecを含む)によって学習される統計解析モデルを提案する。
この記事では、word2vecのsoftmax最適化スキップグラムアルゴリズムの最初の既知のソリューションとして、最高の知識を導出します。
この結果は,Deep Learning (DL) 言語モデル (LM) 行列分解の直接的な解法として,今後の発展の可能性を示す。
しかし、この解を用いて、ワードベクトルが示し、データ内のバイアスの予防的識別を可能にする性質が、DLモデルによる吸収に先行して存在することを示す。
本研究を検証するために,共起モデルにおける統計的依存性の密度に関する独立性の分析を行い,共起統計による分布仮説の部分的充足に関する洞察を与える。
関連論文リスト
- The Common Stability Mechanism behind most Self-Supervised Learning
Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。
我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。
私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文 参考訳(メタデータ) (2024-02-22T20:36:24Z) - Combining inherent knowledge of vision-language models with unsupervised
domain adaptation through self-knowledge distillation [49.65728535989119]
教師なしドメイン適応(UDA)は、ラベル付きソースデータセットを活用することで、データのラベル付けの面倒な作業を克服しようとする。
現在の視覚言語モデルは驚くべきゼロショット予測能力を示している。
UDAを通じて得られた知識と、視覚言語モデルの本質的な知識を組み合わせる。
論文 参考訳(メタデータ) (2023-12-07T06:16:39Z) - Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。
単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。
我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文 参考訳(メタデータ) (2023-11-17T00:35:38Z) - Faithful Explanations of Black-box NLP Models Using LLM-generated
Counterfactuals [67.64770842323966]
NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。
既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。
本稿では, 対物近似(CF)の2つの手法を提案する。
論文 参考訳(メタデータ) (2023-10-01T07:31:04Z) - Topological Interpretability for Deep-Learning [0.2519906683279153]
ディープラーニング(DL)モデルは、予測の確実性を定量化できない。
本研究は,臨床および非臨床のテキストに基づいて訓練された2つのDL分類モデルにおいて,特徴を推測する手法を提案する。
論文 参考訳(メタデータ) (2023-05-15T13:38:13Z) - MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。
我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。
我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
論文 参考訳(メタデータ) (2022-12-30T07:37:40Z) - Testing Pre-trained Language Models' Understanding of Distributivity via
Causal Mediation Analysis [13.07356367140208]
自然言語推論のための新しい診断データセットであるDistNLIを紹介する。
モデルの理解の範囲は、モデルのサイズと語彙のサイズと関連していることがわかった。
論文 参考訳(メタデータ) (2022-09-11T00:33:28Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳(メタデータ) (2022-05-21T08:39:42Z) - EigenNoise: A Contrastive Prior to Warm-Start Representations [0.0]
本稿では, 単語ベクトルに対して, 高密度で独立な共起モデルに基づくネーティブなスキームを提案する。
我々のモデルであるEigenNoiseは、事前学習データがないにもかかわらず、経験的に訓練されたGloVeの性能にアプローチできることを示します。
論文 参考訳(メタデータ) (2022-05-09T15:30:50Z) - Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
半教師付き学習における簡単なメタ学習アルゴリズムを提案する。
その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
論文 参考訳(メタデータ) (2020-07-08T08:48:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。