論文の概要: Your Prompt Should Do More: Effects of Retrieval Instructions in Embedding Models
- arxiv url: http://arxiv.org/abs/2610.10508v1
- Date: Wed, 07 Oct 2026 17:51:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.095026
- Title: Your Prompt Should Do More: Effects of Retrieval Instructions in Embedding Models
- Title(参考訳): Promptはもっとすべき: 埋め込みモデルにおける検索命令の効果
- Abstract要約: 本研究では,命令が検索クエリの表現に実際にどのように影響するかのメカニズムについて検討する。
我々は,クエリ側インタプリタが評価に含まれる場合,モデルが単純なタスク命令にも従わないことを示す。
- 参考スコア(独自算出の注目度): 4.17906380521057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompted embedding models have recently received increasing attention, particularly for retrieval, where detailed retrieval instructions are provided as part of the retrieval prompt. Several new datasets and studies have examined this setting, showing that the current embedding models often struggle to follow such instructions reliably. In this paper, we study the mechanism of how instructions actually affect the representations of retrieval queries in asymmetric retrieval tasks. We show that models can fail to follow even simple task instructions when query-side distractors are included in the evaluation. We hypothesize that this behavior is driven by the training setup of current embedding models and their evaluation, and show that fine-tuning with added query-side distractors leads to substantial improvements, with minimal effect on other tasks.
- Abstract(参考訳): 特に検索では,検索プロンプトの一部として詳細な検索命令が提供される。
いくつかの新しいデータセットや研究がこの設定を調査し、現在の埋め込みモデルは、しばしばそのような指示を確実に従うのに苦労していることを示している。
本稿では,非対称な検索タスクにおいて,命令が検索クエリの表現に実際にどのように影響するかのメカニズムについて検討する。
我々は,クエリ側インタプリタが評価に含まれる場合,モデルが単純なタスク命令にも従わないことを示す。
この動作は、現在の埋め込みモデルのトレーニング設定とその評価によって引き起こされると仮定し、クエリ側インタプリタの追加による微調整が、他のタスクに最小限の影響を伴い、大幅な改善をもたらすことを示す。
関連論文リスト
- Can Instructed Retrieval Models Really Support Exploration? [29.8124798158787]
ベストレトリバーは、指示に依存しないアプローチに比べて、ランキングの関連性を改善する。
ユーザーは、命令に依存しないモデルよりも、現在の指示されたレトリバーを使うことの恩恵を受けるかもしれないが、長期にわたる探索セッションでは、それらを使用することの恩恵を受けないかもしれない。
論文 参考訳(メタデータ) (2026-01-16T01:45:29Z) - Beyond Content Relevance: Evaluating Instruction Following in Retrieval Models [25.301280441283147]
本研究では,コンテンツ関連性を超えた各種検索モデルの指示追従能力について検討した。
6つの文書レベル属性にまたがる新しい検索評価ベンチマークを開発した。
その結果,命令対応検索データセットの微調整モデルでは性能が向上するが,ほとんどのモデルでは命令順守に欠けることがわかった。
論文 参考訳(メタデータ) (2024-10-31T11:47:21Z) - MAIR: A Massive Benchmark for Evaluating Instructed Retrieval [39.22381869406682]
最近の情報検索(IR)モデルは、大量のデータセットとタスクに基づいて事前訓練され、命令調整される。
MAIR(Massive Instructed Retrieval Benchmark)は6つの領域にわたる126の異なるIRタスクを含む異種IRベンチマークである。
我々は、最先端の命令調整型テキスト埋め込みモデルと再分類モデルのベンチマークを行う。
論文 参考訳(メタデータ) (2024-10-14T03:26:51Z) - Position: Quo Vadis, Unsupervised Time Series Anomaly Detection? [11.269007806012931]
Timeseries Anomaly Detection (TAD)における機械学習奨学金の現状は、欠陥のある評価指標の持続的使用に悩まされている。
本稿は,TADにおける現状を批判的に分析し,現在の研究の誤解を招きかねない軌跡を明らかにした。
論文 参考訳(メタデータ) (2024-05-04T14:43:31Z) - FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions [71.5977045423177]
本稿では,情報検索システムにおける命令の利用について検討する。
厳密なインストラクション評価ベンチマークを含むデータセットFollowIRを紹介した。
我々は、IRモデルが複雑な命令に従うことを学習することは可能であることを示す。
論文 参考訳(メタデータ) (2024-03-22T14:42:29Z) - Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
本研究では、しばしば使われない補助的監督源である言語の使用について検討する。
近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。
さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
論文 参考訳(メタデータ) (2023-06-21T20:47:23Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T12:28:25Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳(メタデータ) (2022-10-19T16:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。