論文の概要: Don't Reinvent the Wheel: Efficient Instruction-Following Text Embedding based on Guided Space Transformation

• arxiv url: http://arxiv.org/abs/2505.24754v1
• Date: Fri, 30 May 2025 16:16:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.062198
• Title: Don't Reinvent the Wheel: Efficient Instruction-Following Text Embedding based on Guided Space Transformation
• Title（参考訳）: 車輪を再発明しない: ガイド付き空間変換に基づく効率的な指導-追従テキスト埋め込み
• Authors: Yingchaojie Feng, Yiqun Sun, Yandong Sun, Minfeng Zhu, Qiang Huang, Anthony K. H. Tung, Wei Chen,
• Abstract要約: 誘導空間変換に基づく新しい命令追従型テキスト埋め込みフレームワークであるGSTransformを提案する。 我々のキーとなる観察は、命令関連情報は本質的には汎用的な埋め込みに符号化されているが、まだ利用されていないことである。 GSTransformは、少量のテキストデータと命令中心のラベルアノテーションでガイドされるユーザ命令に合わせるために、事前に計算された埋め込みをリアルタイムで適応する。
• 参考スコア（独自算出の注目度）: 15.01444816603121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we investigate an important task named instruction-following text embedding, which generates dynamic text embeddings that adapt to user instructions, highlighting specific attributes of text. Despite recent advancements, existing approaches suffer from significant computational overhead, as they require re-encoding the entire corpus for each new instruction. To address this challenge, we propose GSTransform, a novel instruction-following text embedding framework based on Guided Space Transformation. Our key observation is that instruction-relevant information is inherently encoded in generic embeddings but remains underutilized. Instead of repeatedly encoding the corpus for each instruction, GSTransform is a lightweight transformation mechanism that adapts pre-computed embeddings in real time to align with user instructions, guided by a small amount of text data with instruction-focused label annotation. We conduct extensive experiments on three instruction-awareness downstream tasks across nine real-world datasets, demonstrating that GSTransform improves instruction-following text embedding quality over state-of-the-art methods while achieving dramatic speedups of 6~300x in real-time processing on large-scale datasets. The source code is available at https://github.com/YingchaojieFeng/GSTransform.
• Abstract（参考訳）: 本研究では,ユーザ命令に適応した動的テキスト埋め込みを生成し,テキストの特定の属性を強調表示する,命令追従型テキスト埋め込みという重要なタスクについて検討する。 近年の進歩にもかかわらず、既存のアプローチでは、新しい命令ごとにコーパス全体を再エンコードする必要があるため、計算オーバーヘッドが大幅に増大している。 この課題に対処するために,ガイド空間変換に基づく新しい命令追従型テキスト埋め込みフレームワークであるGSTransformを提案する。 我々のキーとなる観察は、命令関連情報は本質的には汎用的な埋め込みに符号化されているが、まだ利用されていないことである。 GSTransformは、命令ごとにコーパスを繰り返しエンコードする代わりに、プリコンパイルされた埋め込みをリアルタイムで適応し、少量のテキストデータと命令中心のラベルアノテーションでガイドされるユーザ命令に合わせる軽量な変換機構である。 9つの実世界のデータセットにまたがる3つの命令認識ダウンストリームタスクに関する広範な実験を行い、GSTransformは、大規模データセット上でのリアルタイム処理において6～300倍の劇的な高速化を実現しつつ、命令追従テキスト埋め込み品質を改善することを実証した。 ソースコードはhttps://github.com/YingchaojieFeng/GSTransformで入手できる。

関連論文リスト

• FastTextSpotter: A High-Efficiency Transformer for Multilingual Scene Text Spotting [14.054151352916296]
  本稿では,Swin Transformerの視覚バックボーンとTransformer-Decoderアーキテクチャを統合したFastTextSpotterを提案する。 FastTextSpotterは、通常のテキストのICDAR2015や任意の形のテキストのCTW1500、TotalTextなど、複数のデータセットで検証されている。 以上の結果から,FastTextSpotterは多言語シーンテキストの検出と認識において,より優れた精度を実現することが示唆された。
  論文  参考訳（メタデータ） (2024-08-27T12:28:41Z)
• Efficient Pre-training for Localized Instruction Generation of Videos [32.13509517228516]
  手続きビデオはステップバイステップの指示を伝えるのに役立ちます。 Process Transformer (ProcX) は、プロシージャビデオのエンドツーエンドのステップローカライズと命令生成のためのモデルである。
  論文  参考訳（メタデータ） (2023-11-27T16:07:37Z)
• Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection [71.20871905457174]
  言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。 従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。 本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
  論文  参考訳（メタデータ） (2023-08-30T02:22:40Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• One Embedder, Any Task: Instruction-Finetuned Text Embeddings [105.82772523968961]
  INSTRUCTORはタスク命令のテキスト埋め込みを計算するための新しい方法である。 すべてのテキスト入力はユースケースを説明する指示と共に埋め込まれる。 InSTRUCTORを70の埋め込み評価タスクで評価する。
  論文  参考訳（メタデータ） (2022-12-19T18:57:05Z)
• Informative Text Generation from Knowledge Triples [56.939571343797304]
  本稿では,トレーニング中に学習した有用な知識を記憶するために,メモリネットワークを利用した新しいメモリ拡張ジェネレータを提案する。 我々は、新しい設定のためのWebNLGからデータセットを導き、我々のモデルの有効性を調べるための広範な実験を行う。
  論文  参考訳（メタデータ） (2022-09-26T14:35:57Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。