Fugu-MT 論文翻訳(概要): Luxical: High-Speed Lexical-Dense Text Embeddings

論文の概要: Luxical: High-Speed Lexical-Dense Text Embeddings

arxiv url: http://arxiv.org/abs/2512.09015v1
Date: Tue, 09 Dec 2025 18:58:44 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-11 15:14:53.27154
Title: Luxical: High-Speed Lexical-Dense Text Embeddings
Title（参考訳）: 高速レキシカルテキスト埋め込み
Abstract要約: Luxical は高速な "lexical-dense" テキスト埋め込みのためのライブラリである。 Webスケールのテキスト組織において、両方のアプローチの最高の特性を回復することを目的としている。
参考スコア（独自算出の注目度）: 16.999468162440966
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Frontier language model quality increasingly hinges on our ability to organize web-scale text corpora for training. Today's dominant tools trade off speed and flexibility: lexical classifiers (e.g., FastText) are fast but limited to producing classification output scores, while the vector-valued outputs of transformer text embedding models flexibly support numerous workflows (e.g., clustering, classification, and retrieval) but are computationally expensive to produce. We introduce Luxical, a library for high-speed "lexical-dense" text embeddings that aims to recover the best properties of both approaches for web-scale text organization. Luxical combines sparse TF--IDF features, a small ReLU network, and a knowledge distillation training regimen to approximate large transformer embedding models at a fraction of their operational cost. In this technical report, we describe the Luxical architecture and training objective and evaluate a concrete Luxical model in two disparate applications: a targeted webcrawl document retrieval test and an end-to-end language model data curation task grounded in text classification. In these tasks we demonstrate speedups ranging from 3x to 100x over varying-sized neural baselines, and comparable to FastText model inference during the data curation task. On these evaluations, the tested Luxical model illustrates favorable compute/quality trade-offs for large-scale text organization, matching the quality of neural baselines. Luxical is available as open-source software at https://github.com/datologyai/luxical.
Abstract（参考訳）: 最前線の言語モデルの品質は、トレーニングのためにWebスケールのテキストコーパスを編成する能力にますます重きを置いています。語彙分類器(例えば、FastText)は高速だが、分類出力のスコアの生成に限られている。一方、トランスフォーマーテキスト埋め込みモデルのベクトル値出力は、多くのワークフロー(例えば、クラスタリング、分類、検索)を柔軟にサポートしているが、計算的にコストがかかる。高速な「レキシカルセンス」テキスト埋め込みのためのライブラリであるLuxicalを導入し、Webスケールのテキスト組織における両アプローチの最高の特性を回復することを目的とした。 Luxicalは、スパースTF-IDF機能、小さなReLUネットワーク、知識蒸留訓練と組み合わせて、大きなトランスフォーマー埋め込みモデルを運用コストのごく一部で近似する。本稿では,Luxical アーキテクチャと学習目標について述べるとともに,Webcrawl 文書検索テストと,テキスト分類に基づくエンドツーエンドの言語モデルデータキュレーションタスクの2つの異なるアプリケーションにおいて,具体的なLuxical モデルを評価する。これらのタスクでは、さまざまなサイズのニューラルベースラインに対する3倍から100倍のスピードアップを示し、データキュレーションタスク中のFastTextモデル推論に匹敵する。これらの評価に基づいて、テストされたLuxicalモデルは、大規模テキスト編成において好適な計算/品質トレードオフを示し、ニューラルベースラインの品質に適合する。 Luxicalはhttps://github.com/datologyai/luxical.comでオープンソースソフトウェアとして公開されている。

関連論文リスト

Handwritten and Printed Text Segmentation via Region-Aware Human-Writing Descriptor Engineering [15.434679847306676]
本稿では,計算能力が著しく制限されたデバイス上での効率的な性能に最適化された軽量なフレームワークを提案する。提案手法は,文書画像からコヒーレントな文レベルセグメントを抽出することを目的とした,文レベル連結成分アルゴリズムから始まる。次に、文レベルでの人手書きの本質的変動を捉えるために、新しい領域対応手書き記述子(RHD)を設計する。
論文参考訳（メタデータ） (2026-07-17T13:19:47Z)
UniRec-0.1B: Unified Text and Formula Recognition with 0.1B Parameters [55.34921520578968]
視覚言語モデル(VLM)は、テキストと公式の統一的な認識を実現している。パラメータが0.1Bしか持たない統一認識モデルUniRec-0.1Bを提案する。文字、単語、行、段落、文書など、複数のレベルでテキストや公式の認識を行うことができる。
論文参考訳（メタデータ） (2025-12-24T10:35:21Z)
TextFlux: An OCR-Free DiT Model for High-Fidelity Multilingual Scene Text Synthesis [29.297349416515665]
TextFluxは、多言語シーンテキスト合成を可能にするDiTベースのフレームワークである。 TextFluxは低リソースのマルチリンガル設定で有効であり、1000サンプル未満の新たな言語で高いパフォーマンスを実現している。
論文参考訳（メタデータ） (2025-05-23T11:46:46Z)
Small Language Models in the Real World: Insights from Industrial Text Classification [9.70280446429164]
ChatGPTは、テキスト分類と関連するタスクが大幅に進歩している。より小さな言語モデルがテキスト分類タスクを効果的に扱えるかどうかという問題は、重要な関心事として浮上する。本研究は,トランスフォーマーを用いたテキスト分類のための,プロンプトエンジニアリングと教師付き微調整手法の総合評価を行う。
論文参考訳（メタデータ） (2025-05-21T23:39:24Z)
Empirical Evaluation of Embedding Models in the Context of Text Classification in Document Review in Construction Delay Disputes [6.076874513889027]
テキスト埋め込みはテキストデータの数値表現であり、単語、フレーズ、文書全体を実数のベクトルに変換する。本稿では,4つの異なるモデルの包括的比較分析を通じて,異なる埋め込みを評価する作業について述べる。 K-Nearest Neighbors (KNN) と Logistic Regression (LR) の両方を用いてバイナリ分類タスクを行い、特にラベル付きデータセット内でテキストスニペットが 'delay' あるいは 'not delay' に関連付けられているかどうかを判断する。
論文参考訳（メタデータ） (2025-01-16T22:12:11Z)
Adaptable and Reliable Text Classification using Large Language Models [7.962669028039958]
本稿では,Large Language Models(LLMs)を活用した適応的で信頼性の高いテキスト分類パラダイムを提案する。我々は、4つの多様なデータセット上で、複数のLLM、機械学習アルゴリズム、ニューラルネットワークベースのアーキテクチャの性能を評価した。システムの性能は、少数ショットや微調整の戦略によってさらに向上することができる。
論文参考訳（メタデータ） (2024-05-17T04:05:05Z)
Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文参考訳（メタデータ） (2024-03-26T12:47:39Z)
Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文参考訳（メタデータ） (2024-02-27T14:16:19Z)
LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文参考訳（メタデータ） (2022-10-03T17:56:35Z)
TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents [51.744527199305445]
本稿では,視覚的にリッチな文書からエンド・ツー・エンドの情報抽出フレームワークを提案する。テキスト読み出しと情報抽出は、よく設計されたマルチモーダルコンテキストブロックを介して互いに強化することができる。フレームワークはエンドツーエンドのトレーニング可能な方法でトレーニングでき、グローバルな最適化が達成できる。
論文参考訳（メタデータ） (2022-07-14T08:52:07Z)
Learning Contextualized Document Representations for Healthcare Answer Retrieval [68.02029435111193]
コンテキスト談話ベクトル(英: Contextual Discourse Vectors、CDV)は、長文からの効率的な回答検索のための分散文書表現である。本モデルでは,階層型LSTMレイヤとマルチタスクトレーニングを併用したデュアルエンコーダアーキテクチャを用いて,臨床エンティティの位置と文書の談話に沿った側面をエンコードする。我々の一般化モデルは、医療パスランキングにおいて、最先端のベースラインを著しく上回っていることを示す。
論文参考訳（メタデータ） (2020-02-03T15:47:19Z)
Adapting Deep Learning for Sentiment Classification of Code-Switched Informal Short Text [1.6752182911522517]
コードスイッチによる非公式テキストの感情分類のために,MultiSentiというラベル付きデータセットを提案する。コードスイッチトされた非公式短文の感情分類のための深層学習に基づくモデルを提案する。
論文参考訳（メタデータ） (2020-01-04T06:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。