論文の概要: Group-Sparse Matrix Factorization for Transfer Learning of Word Embeddings

• arxiv url: http://arxiv.org/abs/2104.08928v3
• Date: Sat, 17 Feb 2024 08:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 22:06:27.420078
• Title: Group-Sparse Matrix Factorization for Transfer Learning of Word Embeddings
• Title（参考訳）: 単語埋め込みの伝達学習のためのグループスパース行列分解
• Authors: Kan Xu, Xuanyi Zhao, Hamsa Bastani, Osbert Bastani
• Abstract要約: 本稿では,グループパースペナルティによって構造を生かし,学習ドメイン固有の単語埋め込みを効率的に伝達する直感的な推定手法を提案する。 非コーパス目的関数によって同定される局所最小値はすべて、標準正規化条件下での最小値と統計的に区別できないことを証明した。
• 参考スコア（独自算出の注目度）: 31.849734024331283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unstructured text provides decision-makers with a rich data source in many domains, ranging from product reviews in retail to nursing notes in healthcare. To leverage this information, words are typically translated into word embeddings -- vectors that encode the semantic relationships between words -- through unsupervised learning algorithms such as matrix factorization. However, learning word embeddings from new domains with limited training data can be challenging, because the meaning/usage may be different in the new domain, e.g., the word ``positive'' typically has positive sentiment, but often has negative sentiment in medical notes since it may imply that a patient tested positive for a disease. In practice, we expect that only a small number of domain-specific words may have new meanings. We propose an intuitive two-stage estimator that exploits this structure via a group-sparse penalty to efficiently transfer learn domain-specific word embeddings by combining large-scale text corpora (such as Wikipedia) with limited domain-specific text data. We bound the generalization error of our transfer learning estimator, proving that it can achieve high accuracy with substantially less domain-specific data when only a small number of embeddings are altered between domains. Furthermore, we prove that all local minima identified by our nonconvex objective function are statistically indistinguishable from the global minimum under standard regularization conditions, implying that our estimator can be computed efficiently. Our results provide the first bounds on group-sparse matrix factorization, which may be of independent interest. We empirically evaluate our approach compared to state-of-the-art fine-tuning heuristics from natural language processing.
• Abstract（参考訳）: unstructured textは意思決定者に、小売における製品レビューから医療における看護ノートまで、多くの領域で豊富なデータソースを提供する。 この情報を活用するために、単語は通常、行列因子化のような教師なし学習アルゴリズムを通して、単語間の意味関係を符号化するベクトルである単語埋め込みに翻訳される。 しかし,「ポジティブ」という単語は一般的にポジティブな感情を持つが,患者が疾患に対して陽性であることを示す可能性があるため,医用紙に否定的な感情を抱くことが多いため,訓練データに制限のある新たなドメインからの単語埋め込みを学習することは困難である。 実際には、少数のドメイン特化語だけが新しい意味を持つことを期待する。 グループスパースペナルティによってこの構造を利用する直感的な2段階推定器を提案し、大規模テキストコーパス(ウィキペディアなど)と限られたドメイン固有テキストデータを組み合わせることにより、学習ドメイン固有の単語埋め込みを効率的に転送する。 転送学習推定器の一般化誤差を拘束し、少数の埋め込みがドメイン間でのみ変更される場合に、ドメイン固有のデータを大幅に少なくして高精度に達成できることを証明した。 さらに, 非凸目的関数によって同定された局所最小値はすべて, 標準正規化条件下でのグローバル最小値と統計的に区別できないことを証明し, 効率的に推定できることを示す。 以上の結果から, 群スパース行列因子分解の第一の限界が得られ, 独立な関心が持たれる。 自然言語処理による最先端の微調整ヒューリスティックと比較し,そのアプローチを実証的に評価した。

関連論文リスト

• Unsupervised Domain Adaptation for Sparse Retrieval by Filling Vocabulary and Word Frequency Gaps [12.573927420408365]
  事前訓練された言語モデルを用いたIRモデルはBM25のような語彙的アプローチよりも大幅に優れていた。 本稿では,語彙と単語周波数のギャップを埋めることによる教師なし領域適応手法を提案する。 提案手法は,現在最先端の領域適応法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-08T03:58:26Z)
• Domain Adaptive Semantic Segmentation without Source Data [50.18389578589789]
  モデルがソースドメイン上で事前学習されていることを前提として、ソースデータのないドメイン適応セマンティックセマンティックセマンティックセマンティクスについて検討する。 本稿では,この課題に対して,肯定的学習と否定的学習という2つの要素を用いた効果的な枠組みを提案する。 私たちのフレームワークは、パフォーマンスをさらに向上するために、他のメソッドに簡単に実装および組み込むことができます。
  論文  参考訳（メタデータ） (2021-10-13T04:12:27Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• A comprehensive empirical analysis on cross-domain semantic enrichment for detection of depressive language [0.9749560288448115]
  まず、大規模な汎用データセットから事前トレーニングされたリッチな単語の埋め込みから始め、シンプルな非線形マッピングメカニズムを通じて、はるかに小さく、より特定のドメインデータセットから学んだ埋め込みで拡張します。 単語の埋め込み表現は,高品質なデータセットに適用した場合に,他よりもはるかに優れたF1スコアが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-24T07:15:09Z)
• Quantifying and Improving Transferability in Domain Generalization [53.16289325326505]
  アウト・オブ・ディストリビューションの一般化は、実験室から現実世界にモデルを移す際の重要な課題の1つである。 我々は、領域一般化において量子化と計算が可能な転送可能性を正式に定義する。 転送可能な特徴を学習し、様々なベンチマークデータセット上でテストするための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T14:04:32Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Accelerating Text Mining Using Domain-Specific Stop Word Lists [57.76576681191192]
  本稿では,超平面的アプローチと呼ばれるドメイン固有語の自動抽出手法を提案する。 ハイパープレーンベースのアプローチは、無関係な特徴を排除することによって、テキストの寸法を著しく削減することができる。 その結果,超平面型アプローチはコーパスの寸法を90%削減し,相互情報より優れることがわかった。
  論文  参考訳（メタデータ） (2020-11-18T17:42:32Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)
• Evaluating Sparse Interpretable Word Embeddings for Biomedical Domain [1.3526604206343171]
  解釈可能性(英: Interpretability)は、生体医学的応用において不可欠な部分である正当化の鍵となる手段である。 医療領域における単語埋め込みの解釈可能性に関する包括的研究を行い,スパース法の役割に着目した。 実験結果から, 下流タスクにおける元のベクトルの性能を保ちながら, 疎単語ベクトルの方がはるかに解釈可能性が高いことがわかった。
  論文  参考訳（メタデータ） (2020-05-11T13:56:58Z)
• Pseudo Labeling and Negative Feedback Learning for Large-scale Multi-label Domain Classification [18.18754040189615]
  大規模ドメイン分類では、発話は重複する複数のドメインで処理できる。 本稿では,訓練発話毎に1つの基礎構造ドメインが与えられた場合,最も信頼度の高い領域をトレーニングのための追加の擬似ラベルとして常に予測する。 誤った擬似ラベルによる予測誤差を低減するために、負のシステム応答による発話を利用して、誤った予測領域の信頼度を下げる。
  論文  参考訳（メタデータ） (2020-03-08T06:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。