論文の概要: Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

• arxiv url: http://arxiv.org/abs/2409.11136v1
• Date: Tue, 17 Sep 2024 12:42:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 16:45:13.819192
• Title: Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models
• Title（参考訳）: Promptriever: トレーニングされたレトリバーは、言語モデルのようにプロンプトできる
• Authors: Orion Weller, Benjamin Van Durme, Dawn Lawrie, Ashwin Paranjape, Yuhao Zhang, Jack Hessel,
• Abstract要約: 本稿では,LMのように誘導できる最初の検索モデルであるPromptrieverを紹介する。 Promptrieverは、標準的な検索タスクで高いパフォーマンスを達成し、命令に従う。
• 参考スコア（独自算出の注目度）: 54.272894325370956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.
• Abstract（参考訳）: Instruction-tuned Language Model (LM) は命令型コマンドに応答でき、基本言語に比べて自然なユーザインタフェースを提供する。 本稿では,LMのように誘導できる最初の検索モデルであるPromptrieverを紹介する。 Promptrieverをトレーニングするために、500k近いインスタンスにまたがるMS MARCOからインスタンスレベルの新しいトレーニングセットをキュレートし、リリースする。 Promptrieverは、標準的な検索タスクで高いパフォーマンスを達成するだけでなく、指示に従う。 1) FollowIRの詳細な関連命令(+14.3 p-MRR / +3.1 nDCG)に対する大きな利得(SoTAの取得)、(2)クエリ+インストラクション(+12.9 Robustness@10, InstructIR)における語彙選択/表現に対するロバスト性(+1.4 average increase)、(3)検索性能を確実に向上させるプロンプトによるハイパーパラメータ検索機能(BEIRにおける+1.4 average increase)。 Promptriever氏は、検索モデルがクエリ毎にプロンプトで制御可能であることを実証し、将来の作業のためのステージを設定し、LMプロンプトと情報検索のテクニックを連携させる。

関連論文リスト

• Modular Prompt Learning Improves Vision-Language Models [49.132774679968456]
  挿入されたプロンプトに含まれる情報の保存を促進するために,モジュール型プロンプト学習(MPL)を提案する。 提案手法は,ベース・ツー・ニューな一般化タスクにおいて平均0.7%の性能向上を実現している。 個々のデータセットにおける最大の改善は10.7%である。
  論文  参考訳（メタデータ） (2025-02-19T22:00:20Z)
• mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval [61.17793165194077]
  本稿では,検索モデルにおける命令追従能力のベンチマークであるmFollowIRを紹介する。 本稿では,多言語 (XX-XX) と多言語 (En-XX) のパフォーマンスについて述べる。 英語をベースとした学習者による多言語間性能は高いが,多言語設定では顕著な性能低下がみられた。
  論文  参考訳（メタデータ） (2025-01-31T16:24:46Z)
• IPO: Interpretable Prompt Optimization for Vision-Language Models [40.83071220530289]
  本稿では,シンプルだが解釈可能なプロンプト(IPO)を紹介する。 IPOは大規模言語モデル(LLM)を使用してテキストプロンプトを動的に生成する。 画像記述を生成することで、視覚的内容の条件付けに大型マルチモーダルモデル(LMM)を組み込む。
  論文  参考訳（メタデータ） (2024-10-20T14:10:22Z)
• Automatic Prompt Selection for Large Language Models [22.73421169410049]
  本稿では,与えられた入力に対する最適プロンプトを,有限個の合成候補プロンプトから自動的に選択する効果的な手法を提案する。 本手法は,資源集約型トレーニングと推論の必要性を排除し,汎用性に即したバランスをとる。 GSM8K、MultiArithm、AQuAといったゼロショット質問回答データセット上での競合性能を示している。
  論文  参考訳（メタデータ） (2024-04-03T13:20:24Z)
• Effective Structured Prompting by Meta-Learning and Representative Verbalizer [27.64413828719264]
  効果的な構造化プロンプトのためのメタプロンプターを提案する。 本稿では,特徴埋め込みから直接ラベル埋め込みを構築する新しいソフトな動詞変換器(RepVerb)を提案する。 実験の結果,MetaPrompterは最近の最先端技術よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-01T12:44:33Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。