論文の概要: Lend Me Your Eyes: Instruction-Aware Text Embeddings via Attention Relay

• arxiv url: http://arxiv.org/abs/2610.05564v1
• Date: Sun, 04 Oct 2026 21:52:10 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:43:17.045949
• Title: Lend Me Your Eyes: Instruction-Aware Text Embeddings via Attention Relay
• Title（参考訳）: 目を貸して:注意のリレイでテキストの埋め込みを指示する
• Abstract要約: 対照的な学習で訓練されたテキスト埋め込みモデルは、命令付きデータからタスク命令に従うことを学ぶが、命令付きLLMはそれに従う方法をすでに知っている。 本稿では,LLMが生み出す注意重みを埋め込み者の注意に伝達する注意リレーを提案する。
• 参考スコア（独自算出の注目度）: 5.782321664699221
• License:
• Abstract: Text embedding models trained with contrastive learning learn to follow task instructions from instruction-paired data, while instruction-tuned LLMs already know how to follow them. We show that this instruction-following ability can carry over from an LLM to a Transformer-based embedder without any training. We propose Attention Relay, which passes the attention weights an LLM produces to the embedder's own attention. Across six instruction-tuned LLMs from the Qwen3, Llama 3.1 and OLMo 3 families and ten widely used embedding models that differ in tokenizer, size and pooling type, Attention Relay makes nearly every combination instruction-aware. Experiments that break the method down into its parts show that the LLM's attention weights track the instruction in its later layers and come largely from instruction tuning. They also show that relaying these weights selects which content in the text matters: it makes the aspect of the text that the instruction asks about dominant in the embedding, or restores that aspect where averaging had diluted it.
• Abstract（参考訳）: 対照的な学習で訓練されたテキスト埋め込みモデルは、命令付きデータからタスク命令に従うことを学ぶが、命令付きLLMはそれに従う方法をすでに知っている。 この命令追従能力は,LLM から Transformer ベースの埋め込み装置へ,トレーニングを伴わずに受け継がれることを示す。 本稿では,LLMが生み出す注意重みを埋め込み者の注意に伝達する注意リレーを提案する。 Qwen3、Llama 3.1、OLMo 3ファミリーの6つの命令チューニングLDMと、トークン化、サイズ、プーリングタイプが異なる10の広く使われている埋め込みモデルの中で、Attention Relayは、ほとんどすべての命令対応を意識している。 メソッドを部品に分解する実験は、LCMの注意重みが後期のレイヤーの命令を追跡し、主に命令のチューニングから来ていることを示している。 彼らはまた、これらの重みを中継することで、テキスト内のどの内容が重要かを選択することを示している: 命令が埋め込みにおいて支配的なことを問うテキストの側面を作るか、平均化がそれを希釈した側面を復元する。

関連論文リスト

• LLM2Vec-Gen: Generative Embeddings from Large Language Models [38.742293185880364]
  埋め込みモデルを訓練するための,新たな自己教師型アプローチを提案する。 入力を符号化するのではなく、モデルの潜在的な応答を表現することを学ぶ。 有害なコンテンツ検索の43.2%の削減と、埋め込みタスクの推論能力の29.3%の改善を観察する。
  論文  参考訳（メタデータ） (2026-03-11T15:58:47Z)
• Non-instructional Fine-tuning: Enabling Instruction-Following Capabilities in Pre-trained Language Models without Instruction-Following Data [51.34222224728979]
  本稿では,OpenWebText からのランダムテキストの前半を命令として,GPT-3.5-turbo あるいは GPT-4-turbo を用いて応答としてテキストを完成させる手法を提案する。 データが"非教育的"であるにも関わらず、このデータに基づいて微調整された事前学習されたLLMが、命令追従能力を得る可能性があることがわかった。
  論文  参考訳（メタデータ） (2024-08-27T01:21:53Z)
• RoCoIns: Enhancing Robustness of Large Language Models through Code-Style Instructions [43.19966425619236]
  より構造的であいまいなコードスタイルの命令を使用して、典型的には自然言語命令を置き換える。 そこで本研究では,クリーンサンプルと逆サンプルの両方を用いて,コンテキスト内デモを構成する新しい手法を提案する。 8つのロバスト性データセットの実験により、我々の手法は自然言語命令によるLLMよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-02-26T09:30:55Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。