論文の概要: Don't Reinvent the Wheel: Efficient Instruction-Following Text Embedding based on Guided Space Transformation

• arxiv url: http://arxiv.org/abs/2505.24754v1
• Date: Fri, 30 May 2025 16:16:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.062198
• Title: Don't Reinvent the Wheel: Efficient Instruction-Following Text Embedding based on Guided Space Transformation
• Title（参考訳）: 車輪を再発明しない: ガイド付き空間変換に基づく効率的な指導-追従テキスト埋め込み
• Authors: Yingchaojie Feng, Yiqun Sun, Yandong Sun, Minfeng Zhu, Qiang Huang, Anthony K. H. Tung, Wei Chen,
• Abstract要約: 誘導空間変換に基づく新しい命令追従型テキスト埋め込みフレームワークであるGSTransformを提案する。 我々のキーとなる観察は、命令関連情報は本質的には汎用的な埋め込みに符号化されているが、まだ利用されていないことである。 GSTransformは、少量のテキストデータと命令中心のラベルアノテーションでガイドされるユーザ命令に合わせるために、事前に計算された埋め込みをリアルタイムで適応する。
• 参考スコア（独自算出の注目度）: 15.01444816603121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we investigate an important task named instruction-following text embedding, which generates dynamic text embeddings that adapt to user instructions, highlighting specific attributes of text. Despite recent advancements, existing approaches suffer from significant computational overhead, as they require re-encoding the entire corpus for each new instruction. To address this challenge, we propose GSTransform, a novel instruction-following text embedding framework based on Guided Space Transformation. Our key observation is that instruction-relevant information is inherently encoded in generic embeddings but remains underutilized. Instead of repeatedly encoding the corpus for each instruction, GSTransform is a lightweight transformation mechanism that adapts pre-computed embeddings in real time to align with user instructions, guided by a small amount of text data with instruction-focused label annotation. We conduct extensive experiments on three instruction-awareness downstream tasks across nine real-world datasets, demonstrating that GSTransform improves instruction-following text embedding quality over state-of-the-art methods while achieving dramatic speedups of 6~300x in real-time processing on large-scale datasets. The source code is available at https://github.com/YingchaojieFeng/GSTransform.
• Abstract（参考訳）: 本研究では,ユーザ命令に適応した動的テキスト埋め込みを生成し,テキストの特定の属性を強調表示する,命令追従型テキスト埋め込みという重要なタスクについて検討する。 近年の進歩にもかかわらず、既存のアプローチでは、新しい命令ごとにコーパス全体を再エンコードする必要があるため、計算オーバーヘッドが大幅に増大している。 この課題に対処するために,ガイド空間変換に基づく新しい命令追従型テキスト埋め込みフレームワークであるGSTransformを提案する。 我々のキーとなる観察は、命令関連情報は本質的には汎用的な埋め込みに符号化されているが、まだ利用されていないことである。 GSTransformは、命令ごとにコーパスを繰り返しエンコードする代わりに、プリコンパイルされた埋め込みをリアルタイムで適応し、少量のテキストデータと命令中心のラベルアノテーションでガイドされるユーザ命令に合わせる軽量な変換機構である。 9つの実世界のデータセットにまたがる3つの命令認識ダウンストリームタスクに関する広範な実験を行い、GSTransformは、大規模データセット上でのリアルタイム処理において6～300倍の劇的な高速化を実現しつつ、命令追従テキスト埋め込み品質を改善することを実証した。 ソースコードはhttps://github.com/YingchaojieFeng/GSTransformで入手できる。

関連論文リスト

• Efficient Pre-training for Localized Instruction Generation of Videos [32.13509517228516]
  手続きビデオはステップバイステップの指示を伝えるのに役立ちます。 Process Transformer (ProcX) は、プロシージャビデオのエンドツーエンドのステップローカライズと命令生成のためのモデルである。
  論文  参考訳（メタデータ） (2023-11-27T16:07:37Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• One Embedder, Any Task: Instruction-Finetuned Text Embeddings [105.82772523968961]
  INSTRUCTORはタスク命令のテキスト埋め込みを計算するための新しい方法である。 すべてのテキスト入力はユースケースを説明する指示と共に埋め込まれる。 InSTRUCTORを70の埋め込み評価タスクで評価する。
  論文  参考訳（メタデータ） (2022-12-19T18:57:05Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。