論文の概要: Out-of-the-Box Conditional Text Embeddings from Large Language Models

• arxiv url: http://arxiv.org/abs/2504.16411v1
• Date: Wed, 23 Apr 2025 04:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.996958
• Title: Out-of-the-Box Conditional Text Embeddings from Large Language Models
• Title（参考訳）: 大規模言語モデルからのアウト・オブ・ザ・ボックス条件付きテキスト埋め込み
• Authors: Kosuke Yamada, Peinan Zhang,
• Abstract要約: PonTEは、新しい教師なし条件付きテキスト埋め込み手法である。 我々はPonTEが有用な条件付きテキスト埋め込みを生成でき、微調整なしで教師付き手法に匹敵する性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 7.228724224384926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional text embedding is a proposed representation that captures the shift in perspective on texts when conditioned on a specific aspect. Previous methods have relied on extensive training data for fine-tuning models, leading to challenges in terms of labor and resource costs. We propose PonTE, a novel unsupervised conditional text embedding method that leverages a causal large language model and a conditional prompt. Through experiments on conditional semantic text similarity and text clustering, we demonstrate that PonTE can generate useful conditional text embeddings and achieve performance comparable to supervised methods without fine-tuning. We also show the interpretability of text embeddings with PonTE by analyzing word generation following prompts and embedding visualization.
• Abstract（参考訳）: 条件付きテキスト埋め込みは、特定のアスペクトで条件付けされたテキストの視点の変化をキャプチャする提案された表現である。 従来は、微調整モデルのための広範なトレーニングデータに頼っていたため、労働力や資源コストの面での課題に繋がった。 我々は、因果的大言語モデルと条件付きプロンプトを利用する、新しい教師なし条件付きテキスト埋め込み手法であるPonTEを提案する。 条件付きセマンティックテキストの類似性やテキストクラスタリングの実験を通じて、PonTEが有用な条件付きテキスト埋め込みを生成し、微調整なしで教師付き手法に匹敵する性能を達成できることを実証した。 また, PonTEによるテキスト埋め込みの解釈可能性について, 単語生成のプロンプトと埋め込み可視化を用いて解析した。

関連論文リスト

• TS-HTFA: Advancing Time Series Forecasting via Hierarchical Text-Free Alignment with Large Language Models [14.411646409316624]
  時系列予測の新しい手法である textbfHierarchical textbfText-textbfFree textbfAlignment (textbfTS-HTFA) を導入する。 我々は、QR分解語埋め込みと学習可能なプロンプトに基づいて、ペア化されたテキストデータを適応的な仮想テキストに置き換える。 複数の時系列ベンチマークの実験は、HTFAが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-09-23T12:57:24Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Towards Unified Scene Text Spotting based on Sequence Generation [4.437335677401287]
  UNIfied scene Text Spotter(UNITS)を提案する。 我々のモデルは四角形や多角形を含む様々な検出形式を統一する。 任意の開始点からテキストを抽出するために、開始点プロンプトを適用する。
  論文  参考訳（メタデータ） (2023-04-07T01:28:08Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• Language modeling via stochastic processes [30.796382023812022]
  現代の言語モデルは高品質の短いテキストを生成することができるが、長いテキストを生成するときにはしばしばメランジェや不整合である。 自己教師付き学習における最近の研究は、モデルが対照的な学習を通して優れた潜在表現を学習できることを示唆している。 本稿では,時間制御と呼ばれる構成表現を活用する方法を提案する。
  論文  参考訳（メタデータ） (2022-03-21T22:13:53Z)
• CORE-Text: Improving Scene Text Detection with Contrastive Relational Reasoning [65.57338873921168]
  自然界におけるテキストインスタンスのローカライズは、コンピュータビジョンにおける根本的な課題であると考えられている。 本研究では,サブテキスト問題を定量的に解析し,シンプルで効果的な設計であるContrastive Relation(CORE)モジュールを提案する。 我々は、COREモジュールをMask R-CNNの2段階テキスト検出器に統合し、テキスト検出器CORE-Textを考案する。
  論文  参考訳（メタデータ） (2021-12-14T16:22:25Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Improving Disentangled Text Representation Learning with Information-Theoretic Guidance [99.68851329919858]
  自然言語の独特な性質は、テキスト表現の分離をより困難にする。 情報理論にインスパイアされた本研究では,テキストの不整合表現を効果的に表現する手法を提案する。 条件付きテキスト生成とテキストスタイル転送の両方の実験は、不整合表現の質を実証する。
  論文  参考訳（メタデータ） (2020-06-01T03:36:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。