論文の概要: Factor Augmented Supervised Learning with Text Embeddings

• arxiv url: http://arxiv.org/abs/2508.06548v1
• Date: Wed, 06 Aug 2025 01:44:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.426455
• Title: Factor Augmented Supervised Learning with Text Embeddings
• Title（参考訳）: テキスト埋め込みによる教師あり学習の促進
• Authors: Zhanye Luo, Yuefeng Han, Xiufan Yu,
• Abstract要約: AutoEncoder-Augmented Learning with Text (AEALT)は、事前訓練された大規模言語モデル(LLM)に直接次元の縮小を組み込む教師付き、因子拡張フレームワークである。 AEALTは、生の埋め込みに依存する従来のディープラーニングアプローチよりも優れています。 分類,異常検出,予測タスクについて広範な実験を行い,その適用性を検証する。
• 参考スコア（独自算出の注目度）: 3.0040661953201475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) generate text embeddings from text data, producing vector representations that capture the semantic meaning and contextual relationships of words. However, the high dimensionality of these embeddings often impedes efficiency and drives up computational cost in downstream tasks. To address this, we propose AutoEncoder-Augmented Learning with Text (AEALT), a supervised, factor-augmented framework that incorporates dimension reduction directly into pre-trained LLM workflows. First, we extract embeddings from text documents; next, we pass them through a supervised augmented autoencoder to learn low-dimensional, task-relevant latent factors. By modeling the nonlinear structure of complex embeddings, AEALT outperforms conventional deep-learning approaches that rely on raw embeddings. We validate its broad applicability with extensive experiments on classification, anomaly detection, and prediction tasks using multiple real-world public datasets. Numerical results demonstrate that AEALT yields substantial gains over both vanilla embeddings and several standard dimension reduction methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)はテキストデータからテキスト埋め込みを生成し、意味的意味と単語の文脈的関係をキャプチャするベクトル表現を生成する。 しかし、これらの埋め込みの高次元性はしばしば効率を阻害し、下流タスクの計算コストを上昇させる。 そこで本稿では, 教師付き因子拡張フレームワークであるAutoEncoder-Augmented Learning with Text (AEALT)を提案する。 まず、テキスト文書から埋め込みを抽出し、次に教師付き拡張オートエンコーダを通して、低次元のタスク関連潜在因子を学習する。 複雑な埋め込みの非線形構造をモデル化することにより、AEALTは生の埋め込みに依存する従来のディープラーニングアプローチより優れている。 複数の実世界の公開データセットを用いて、分類、異常検出、予測タスクについて広範な実験を行い、その適用性を検証する。 数値計算の結果,AEALTはバニラ埋め込みと数種類の標準次元還元法に比較して実質的な利得が得られることがわかった。

関連論文リスト

• Resource-Efficient Adaptation of Large Language Models for Text Embeddings via Prompt Engineering and Contrastive Fine-tuning [6.549601823162279]
  大規模言語モデル(LLM)は自然言語処理(NLP)の基盤となっている。 プリトレーニングされたデコーダのみのLLMの適応戦略について検討する。
  論文  参考訳（メタデータ） (2025-07-30T14:49:30Z)
• Robust Detection of LLM-Generated Text: A Comparative Analysis [0.276240219662896]
  大規模言語モデルは生命の多くの側面に広く統合することができ、その出力は全てのネットワークリソースを迅速に満たすことができる。 生成したテキストの強力な検出器を開発することがますます重要になっている。 この検出器は、これらの技術の潜在的な誤用を防ぎ、ソーシャルメディアなどのエリアを負の効果から保護するために不可欠である。
  論文  参考訳（メタデータ） (2024-11-09T18:27:15Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Measuring Distributional Shifts in Text: The Advantage of Language Model-Based Embeddings [11.393822909537796]
  実運用における機械学習モデル監視の重要な部分は、入力と出力データのドリフトを測定することである。 大規模言語モデル(LLM)の最近の進歩は、意味的関係を捉える上での有効性を示している。 このような埋め込みを利用してテキストデータの分布変化を測定するクラスタリングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-04T20:46:48Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations [4.36561468436181]
  教師なしテキスト表現のためのDeCLUTR: Deep Contrastive Learningを提案する。 本手法は,ユニバーサル文エンコーダにおける教師なしと教師なしの事前学習のパフォーマンスギャップを埋めるものである。 私たちのコードと事前訓練されたモデルは公開されており、新しいドメインに簡単に適応したり、目に見えないテキストを埋め込むのに使えます。
  論文  参考訳（メタデータ） (2020-06-05T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。