論文の概要: Statistical Depth for Ranking and Characterizing Transformer-Based Text
Embeddings
- arxiv url: http://arxiv.org/abs/2310.15010v1
- Date: Mon, 23 Oct 2023 15:02:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 19:16:34.862446
- Title: Statistical Depth for Ranking and Characterizing Transformer-Based Text
Embeddings
- Title（参考訳）: 変圧器に基づくテキスト埋め込みのランク付けと特徴付けのための統計的深さ
- Authors: Parker Seegmiller and Sarah Masud Preum
- Abstract要約: 統計深度は、観測されたk次元分布に対して集中度を測定することによって、k次元オブジェクトをランク付けする関数である。
本研究では, 変圧器によるテキスト埋め込み, 変圧器によるテキスト埋め込み (TTE) の分布測定に統計的深度を導入し, NLPパイプラインのモデリングと分布推定の両方にこの深度を実用的に利用した。
- 参考スコア（独自算出の注目度）: 1.321681963474017
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The popularity of transformer-based text embeddings calls for better
statistical tools for measuring distributions of such embeddings. One such tool
would be a method for ranking texts within a corpus by centrality, i.e.
assigning each text a number signifying how representative that text is of the
corpus as a whole. However, an intrinsic center-outward ordering of
high-dimensional text representations is not trivial. A statistical depth is a
function for ranking k-dimensional objects by measuring centrality with respect
to some observed k-dimensional distribution. We adopt a statistical depth to
measure distributions of transformer-based text embeddings, transformer-based
text embedding (TTE) depth, and introduce the practical use of this depth for
both modeling and distributional inference in NLP pipelines. We first define
TTE depth and an associated rank sum test for determining whether two corpora
differ significantly in embedding space. We then use TTE depth for the task of
in-context learning prompt selection, showing that this approach reliably
improves performance over statistical baseline approaches across six text
classification tasks. Finally, we use TTE depth and the associated rank sum
test to characterize the distributions of synthesized and human-generated
corpora, showing that five recent synthetic data augmentation processes cause a
measurable distributional shift away from associated human-generated text.
- Abstract（参考訳）: トランスフォーマーベースのテキスト埋め込みの人気は、そのような埋め込みの分布を測定するためのより良い統計ツールを求めている。
そのようなツールの1つは、コーパス内のテキストを中央集権的にランク付けする方法、すなわち、各テキストにコーパス全体のテキストの表現方法を示す数値を割り当てることである。
しかし、高次元テキスト表現の本質的な中心外順序付けは自明ではない。
統計深度は、観測されたk次元分布に対して集中度を測定することによって、k次元オブジェクトをランク付けする関数である。
本研究では, 変圧器によるテキスト埋め込み, 変圧器によるテキスト埋め込み (TTE) の分布測定に統計的深度を導入し, NLPパイプラインのモデリングと分布推定の両方にこの深度を実用的に利用した。
まず,2つのコーパスが埋め込み空間において有意に異なるかどうかを判定するために,TTE深さと関連するランク和テストを定義する。
そこで,本手法は6つのテキスト分類タスクにまたがる統計ベースラインアプローチよりも確実に性能を向上させることを示す。
最後に,tte奥行きと関連するランクサムテストを用いて,合成されたコーパスおよびヒト生成コーパスの分布を特徴付け,最近の5つの合成データ拡張プロセスが,関連するヒト生成テキストから測定可能な分布シフトを引き起こすことを示した。
関連論文リスト
- TexIm FAST: Text-to-Image Representation for Semantic Similarity Evaluation using Transformers [2.7651063843287718]
TexIm FASTは、トランスフォーマー(TexIm FAST)を用いた意味評価のための自己教師付き変分自動エンコーダ(VAE)による固定長表現を生成する新しい手法である。
画像表現は、言語的な複雑さを維持しながら、暗黙の推論を可能にし、クロスモーダルな応用において強力である。
TexIm FASTの有効性は、MSRPC、CNN/Daily Mail、XSumデータセット上でのセマンティックテキスト類似性(STS)のタスクに対して広く分析されている。
論文 参考訳（メタデータ） (2024-06-06T18:28:50Z) - Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文 参考訳（メタデータ） (2023-10-02T09:35:27Z) - LRANet: Towards Accurate and Efficient Scene Text Detection with
Low-Rank Approximation Network [63.554061288184165]
低ランク近似に基づく新しいパラメータ化テキスト形状法を提案する。
異なるテキストの輪郭間の形状相関を探索することにより, 形状表現における一貫性, コンパクト性, 単純性, 頑健性を実現する。
我々はLRANetという名前の正確で効率的な任意の形状のテキスト検出器を実装した。
論文 参考訳（メタデータ） (2023-06-27T02:03:46Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z) - TextDCT: Arbitrary-Shaped Text Detection via Discrete Cosine Transform
Mask [19.269070203448187]
任意形状のシーンテキスト検出は、フォント、サイズ、色、方向のさまざまな変更があるため、難しい作業である。
本研究では,テキストマスクをコンパクトなベクトルとして符号化する離散コサイン変換(DCT)を採用した,新しい軽量アンカーフリーテキスト検出フレームワークTextDCTを提案する。
TextDCTは、毎秒17.2フレームで85.1、CTW1500の15.1FPSで84.9、トータルテキストデータセットで84.9のF測定を実現している。
論文 参考訳（メタデータ） (2022-06-27T15:42:25Z) - Real-Time Scene Text Detection with Differentiable Binarization and
Adaptive Scale Fusion [62.269219152425556]
セグメンテーションに基づくシーンテキスト検出手法はシーンテキスト検出分野において大きな注目を集めている。
本稿では,二項化処理をセグメンテーションネットワークに統合する分散二項化(DB)モジュールを提案する。
アダプティブ・スケール・フュージョン (ASF) モジュールは, 異なるスケールの特徴を適応的に融合させることにより, スケールのロバスト性を向上させる。
論文 参考訳（メタデータ） (2022-02-21T15:30:14Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z) - Improving Text Generation Evaluation with Batch Centering and Tempered
Word Mover Distance [24.49032191669509]
類似度指標の符号化表現を改善するための2つの手法を提案する。
さまざまなBERTバックボーンの学習指標について結果を示し、複数のベンチマークでヒトのレーティングとアート相関の状態を達成した。
論文 参考訳（メタデータ） (2020-10-13T03:46:25Z) - An Intelligent CNN-VAE Text Representation Technology Based on Text
Semantics for Comprehensive Big Data [15.680918844684454]
畳み込みニューラルネットワーク(CNN)と可変オートエンコーダ(VAE)に基づくテキスト特徴表現モデルを提案する。
提案手法は,k-nearest neighbor (KNN), random forest (RF) および Support vector machine (SVM) 分類アルゴリズムにおいて優れる。
論文 参考訳（メタデータ） (2020-08-28T07:39:45Z) - Text Perceptron: Towards End-to-End Arbitrary-Shaped Text Spotting [49.768327669098674]
テキストパーセプトロン(Text Perceptron)という,エンドツーエンドのトレーニング可能なテキストスポッティング手法を提案する。
まず、テキスト読解順序と境界情報を学ぶ効率的なセグメンテーションベースのテキスト検出器を用いる。
次に、検出された特徴領域を正規形態に変換するために、新しい形状変換モジュール(STM)を設計する。
論文 参考訳（メタデータ） (2020-02-17T08:07:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。