論文の概要: RETVec: Resilient and Efficient Text Vectorizer

• arxiv url: http://arxiv.org/abs/2302.09207v3
• Date: Tue, 23 Apr 2024 00:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 20:24:35.340675
• Title: RETVec: Resilient and Efficient Text Vectorizer
• Title（参考訳）: RETVec: レジリエントで効率的なテキストベクタライザ
• Authors: Elie Bursztein, Marina Zhang, Owen Vallis, Xinyu Jia, Alexey Kurakin,
• Abstract要約: RETVecは、256次元ベクトル空間に単語を埋め込むために、新しい文字エンコーディングとオプションの小さな埋め込みモデルを組み合わせる。 RETVec埋め込みモデルは、ペアワイドメトリック学習を用いて事前訓練され、タイプミスやキャラクターレベルの敵攻撃に対して堅牢である。
• 参考スコア（独自算出の注目度）: 5.181952693002194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper describes RETVec, an efficient, resilient, and multilingual text vectorizer designed for neural-based text processing. RETVec combines a novel character encoding with an optional small embedding model to embed words into a 256-dimensional vector space. The RETVec embedding model is pre-trained using pair-wise metric learning to be robust against typos and character-level adversarial attacks. In this paper, we evaluate and compare RETVec to state-of-the-art vectorizers and word embeddings on popular model architectures and datasets. These comparisons demonstrate that RETVec leads to competitive, multilingual models that are significantly more resilient to typos and adversarial text attacks. RETVec is available under the Apache 2 license at https://github.com/google-research/retvec.
• Abstract（参考訳）: 本稿では,ニューラルベーステキスト処理用に設計された,効率的でレジリエントな多言語テキストベクタライザRETVecについて述べる。 RETVecは、256次元ベクトル空間に単語を埋め込むために、新しい文字エンコーディングとオプションの小さな埋め込みモデルを組み合わせる。 RETVec埋め込みモデルは、ペアワイドメトリック学習を用いて事前訓練され、タイプミスやキャラクターレベルの敵攻撃に対して堅牢である。 本稿では,RETVecと最先端ベクタライザと,一般的なモデルアーキテクチャやデータセット上での単語埋め込みの評価と比較を行う。 これらの比較は、RETVecがタイポスや敵対的テキスト攻撃に対して非常に耐性のある、競争力のある多言語モデルをもたらすことを示している。 RETVecはApache 2ライセンスでhttps://github.com/google-research/retvec.comから入手できる。

関連論文リスト

• RWKV-CLIP: A Robust Vision-Language Representation Learner [31.501759213619646]
  コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に改善した。 本稿では,Large Language Models(LLM)を利用して,Webベースのテキスト,合成キャプション,検出タグからコンテンツを合成・洗練する多種多様な記述生成フレームワークを提案する。 RWKV-CLIPは,変換器の効果的な並列学習とRNNの効率的な推論を組み合わせた,最初のRWKV駆動型視覚言語表現学習モデルである。
  論文  参考訳（メタデータ） (2024-06-11T06:10:46Z)
• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• Learning from Mistakes: Iterative Prompt Relabeling for Text-to-Image Diffusion Model Training [33.51524424536508]
  Iterative Prompt Relabeling (IPR) は、反復的な画像サンプリングを通じて画像をテキストにアライメントし、フィードバックでリテラブルを促す新しいアルゴリズムである。 我々はSDv2とSDXLについて徹底的な実験を行い、空間関係の指示に従う能力をテストする。
  論文  参考訳（メタデータ） (2023-12-23T11:10:43Z)
• REST: Retrieval-Based Speculative Decoding [69.06115086237207]
  本稿では,言語モデル生成の高速化を目的とした新しいアルゴリズムであるRetrieval-Based Speculative Decoding(REST)を紹介する。 投機的復号化のためのドラフト言語モデルに依存する従来の方法とは異なり、RESTは検索の力を利用してドラフトトークンを生成する。 単一バッチ環境で7Bと13Bの言語モデルでベンチマークすると、RESTはコードやテキスト生成において1.62Xから2.36Xの大幅なスピードアップを達成する。
  論文  参考訳（メタデータ） (2023-11-14T15:43:47Z)
• Backpack Language Models [108.65930795825416]
  Backpacksは、強力なモデリング性能と、解釈可能性と制御のためのインターフェースを組み合わせた、新しいニューラルアーキテクチャである。 学習のあと、感覚ベクトルが特殊化され、それぞれが単語の異なる側面を符号化することがわかった。 本稿では,感覚ベクトルに介入し,制御可能なテキスト生成とデバイアスを行うシンプルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T09:26:23Z)
• Adapting Language Models to Compress Contexts [71.98287002918941]
  トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。 本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。 最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:42:44Z)
• STAIR: Learning Sparse Text and Image Representation in Grounded Tokens [84.14528645941128]
  疎結合なセマンティック表現を構築することは、密度の高いプレゼンテーションと同程度、あるいはそれ以上に強力であることを示す。 CLIPモデルを拡張してスパーステキストと画像表現(STAIR)を構築し、画像とテキストをスパーストークン空間にマッピングする。 CLIPモデルでは、+4.9%$と+4.3%$絶対リコール@1の改善で大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2023-01-30T17:21:30Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• SVTR: Scene Text Recognition with a Single Visual Model [44.26135584093631]
  パッチワイド画像トークン化フレームワークにおいて,シーンテキスト認識のための単一ビジュアルモデルを提案する。 SVTRと呼ばれるこの方法は、まずイメージテキストを小さなパッチに分解する。 英語と中国語の両方のシーンテキスト認識タスクの実験結果から,SVTRの有効性が示された。
  論文  参考訳（メタデータ） (2022-04-30T04:37:01Z)
• Hamming OCR: A Locality Sensitive Hashing Neural Network for Scene Text Recognition [14.250874536962366]
  自己注意に基づくシーンテキスト認識アプローチは、優れたパフォーマンスを実現している。 分類層と埋め込み層の両方におけるパラメータの数は、語彙のサイズに依存しない。 ハンミングOCRは競争結果を達成する。
  論文  参考訳（メタデータ） (2020-09-23T01:20:19Z)
• An Intelligent CNN-VAE Text Representation Technology Based on Text Semantics for Comprehensive Big Data [15.680918844684454]
  畳み込みニューラルネットワーク(CNN)と可変オートエンコーダ(VAE)に基づくテキスト特徴表現モデルを提案する。 提案手法は,k-nearest neighbor (KNN), random forest (RF) および Support vector machine (SVM) 分類アルゴリズムにおいて優れる。
  論文  参考訳（メタデータ） (2020-08-28T07:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。