論文の概要: ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs

• arxiv url: http://arxiv.org/abs/2606.05858v1
• Date: Thu, 04 Jun 2026 08:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.648928
• Title: ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs
• Title（参考訳）: ReverseEOL: Decoder-only LLMにおけるテキストリバーサルによるトレーニング不要テキスト埋め込みの改善
• Authors: Ailiang Lin, Zhuoyun Li, Yusong Wang, Keyu Mao, Kotaro Funakoshi, Manabu Okumura,
• Abstract要約: 大規模言語モデルの最近の進歩は、トレーニング不要なテキスト埋め込みを生成するための新しい道を開いた。 本稿では,凍結LDMの表現能力を高めるために,明示的なワンワード制限を用いたリバースプロンプトを提案する。
• 参考スコア（独自算出の注目度）: 23.327977837371503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Large Language Models (LLMs) have opened new avenues for generating training-free text embeddings. However, the causal attention in decoder-only LLMs prevents earlier tokens from attending to future context, leading to biased contextualized representations. In this work, we propose Reverse prompting with Explicit One-word Limitation (ReverseEOL), a simple yet effective method for enhancing the representational capability of frozen LLMs. ReverseEOL augments the standard forward embedding with an additional reversed embedding derived from the reversed input text. Since reversing the input exposes each token to context inaccessible in the original order, the resulting reversed embedding effectively provides complementary information to the original one. As a result, combining the forward and reversed embeddings yields a richer final representation. Comprehensive experiments on STS and MTEB benchmarks demonstrate that ReverseEOL significantly improves the performance of existing training-free baselines across a broad range of LLMs with diverse architectures and scales. Extensive ablations and analyses further confirm the necessity of our reversal mechanism.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、トレーニング不要なテキスト埋め込みを生成するための新しい道を開いた。 しかし、デコーダのみのLLMにおける因果的注意は、初期のトークンが将来のコンテキストに到達することを防ぎ、コンテキスト化された表現にバイアスを与える。 本研究では, 凍結LDMの表現能力を高めるための簡易かつ効果的な方法である Explicit One-word Limitation (ReverseEOL) を用いたReverse promptingを提案する。 ReverseEOLは、標準のフォワード埋め込みを、逆入力テキストから派生した追加のリバースド埋め込みで拡張する。 入力を反転させると、元の順番でアクセスできないコンテキストに各トークンを公開するので、結果として得られる逆埋め込みは、元のトークンを補完する情報を効果的に提供します。 その結果、前方と逆埋め込みを組み合わせることで、よりリッチな最終表現が得られる。 STSとMTEBベンチマークの総合的な実験により、ReverseEOLは多様なアーキテクチャとスケールを持つ広範囲のLLMにおいて、既存のトレーニング不要のベースラインのパフォーマンスを大幅に改善することを示した。 広範囲にわたる改善と分析により,我々の逆転機構の必要性がさらに確認された。

関連論文リスト

• Training LLMs to be Better Text Embedders through Bidirectional Reconstruction [37.53732954585151]
  コントラスト学習の前に新たなトレーニングステージを追加して,最終トークン埋め込みのセマンティクスを強化することを提案する。 このステージでは、EBQ2D (Embedding-based Query-to-Document) と EBD2Q (Embedding-based Document-to-Query) という双方向の生成的再構築タスクを採用している。
  論文  参考訳（メタデータ） (2025-09-03T04:55:26Z)
• Exploring Reasoning-Infused Text Embedding with Large Language Models for Zero-Shot Dense Retrieval [24.53573526375476]
  Reasoning-Infused Text Embeddingは、埋め込みを計算する前に中間的推論テキストを生成することによって、既存の言語モデル埋め込み技術に基づいている。 推論集約型検索ベンチマークBRIGHTの結果、RITEは多様な領域にわたるゼロショット検索性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-08-29T23:22:34Z)
• Multimodal LLMs as Customized Reward Models for Text-to-Image Generation [60.164968941945645]
  LLaVA-Rewardは、複数の視点でテキスト・ツー・イメージ(T2I)生成を自動評価する効率的な報酬モデルである。 LLaVA-Rewardはマルチモーダル大言語モデル(MLLM)の隠れ状態を直接利用する LLaVA-Rewardは、テキストイメージアライメント、忠実さ/アーティファクト、安全性、全体的なランク付けの4つの観点でトレーニングします。
  論文  参考訳（メタデータ） (2025-07-28T23:52:53Z)
• Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
  MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。 本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。 本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• RALLRec+: Retrieval Augmented Large Language Model Recommendation with Reasoning [22.495874056980824]
  本稿では,Representation Learning and textbfReasoning empowered search-textbfAugmented textbfLarge textbfLanguage model textbfRecommendation (RALLRec+)を提案する。
  論文  参考訳（メタデータ） (2025-03-26T11:03:34Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Re-Ex: Revising after Explanation Reduces the Factual Errors in LLM Responses [9.956253757863145]
  本稿では,大規模言語モデル(LLM)生成応答を後編集するRe-Exを提案する。 Re-Exは、事実的エラー説明ステップと呼ばれる新しい推論ステップを導入した。 説明ステップに加えて、Re-Exは、応答修正プロセスに必要なトークン数と推論時間を短縮する新しいプロンプト技術も取り入れている。
  論文  参考訳（メタデータ） (2024-02-27T00:22:18Z)
• Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models [63.808843089941405]
  大規模な事前訓練された言語モデル(LM)は、顕著な品質のテキストを生成するが、左から右へ連続的にしか生成しない。 非順序タスクへの一方向LMの直接適用を可能にする新しい教師なしアルゴリズムであるReflective Decodingを提案する。 2段階のアプローチでは、監視もパラレルコーパスも必要ありません。
  論文  参考訳（メタデータ） (2020-10-16T18:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。