論文の概要: Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels
- arxiv url: http://arxiv.org/abs/2406.11706v1
- Date: Mon, 17 Jun 2024 16:25:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 12:54:18.308260
- Title: Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels
- Title（参考訳）: オートオプティマイズドトレーニングハイパーパラメーターとしてのプロンプト:10個のゴールドラベルでスクラッチからクラスIRモデルのトレーニング
- Authors: Jasper Xian, Saron Samuel, Faraz Khoubsirat, Ronak Pradeep, Md Arafat Sultan, Radu Florian, Salim Roukos, Avirup Sil, Christopher Potts, Omar Khattab,
- Abstract要約: 我々は,10個のゴールドレバレンスラベルを持つ小規模(100Mパラメータ未満)のニューラル情報検索モデルを訓練する手法を開発した。
RankLLamaは100K以上のラベルでトレーニングされた7Bパラメータモデルである。
- 参考スコア（独自算出の注目度）: 35.78121449099899
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a method for training small-scale (under 100M parameter) neural information retrieval models with as few as 10 gold relevance labels. The method depends on generating synthetic queries for documents using a language model (LM), and the key step is that we automatically optimize the LM prompt that is used to generate these queries based on training quality. In experiments with the BIRCO benchmark, we find that models trained with our method outperform RankZephyr and are competitive with RankLLama, both of which are 7B parameter models trained on over 100K labels. These findings point to the power of automatic prompt optimization for synthetic dataset generation.
- Abstract（参考訳）: 我々は,10個のゴールドレバレンスラベルを持つ小規模(100Mパラメータ未満)のニューラル情報検索モデルを訓練する手法を開発した。
本手法は,言語モデル(LM)を用いた文書の合成クエリ生成に依存し,学習品質に基づいてこれらのクエリを生成するためのLMプロンプトを自動的に最適化する。
BIRCOベンチマークを用いて実験したところ、我々の手法でトレーニングしたモデルはRanZephyrより優れており、RanLLamaと競合することがわかった。
これらの結果は、合成データセット生成のための自動プロンプト最適化のパワーを示している。
関連論文リスト
- SCAR: Efficient Instruction-Tuning for Large Language Models via Style Consistency-Aware Response Ranking [56.93151679231602]
本研究は、応答における2つの重要なスタイル的要素、すなわち言語形式と意味的前提を同定する。
これに触発されて、スタイル一貫性対応対応ランキング(SCAR)を導入する。
SCARは、そのレスポンススタイリスティックな一貫性に基づいて、トレーニングセット内の命令-レスポンスペアを優先順位付けする。
論文 参考訳（メタデータ） (2024-06-16T10:10:37Z) - Large Language Model-guided Document Selection [23.673690115025913]
大規模言語モデル(LLM)の事前学習は、ますます増加する計算予算を消費する。
近年の研究では、ドキュメントの選択がFLOPのごく一部で同等のモデル品質を実現することが実証されている。
拡張性のある汎用ドメイン文書選択のための有望な方向を探究する。
論文 参考訳（メタデータ） (2024-06-07T04:52:46Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳（メタデータ） (2024-02-15T02:27:57Z) - AutoXPCR: Automated Multi-Objective Model Selection for Time Series
Forecasting [1.0515439489916734]
本稿では,自動的かつ説明可能な多目的モデル選択のための新しい手法であるAutoXPCRを提案する。
我々の手法はメタラーニングを利用して、(P)予測誤差、(C)ミスプレキシティ、(R)ソース要求を含むPCR基準に沿ったモデルの性能を推定する。
我々の手法は、他のモデル選択手法よりも明らかに優れている。平均すると、最高の品質の90%のモデルに推奨する計算コストの20%しか必要としない。
論文 参考訳（メタデータ） (2023-12-20T14:04:57Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How [62.467716468917224]
本稿では,最適事前学習モデルとハイパーパラメータを共同で探索し,微調整する手法を提案する。
本手法は,一連のデータセット上で,事前学習したモデルの性能に関する知識を伝達する。
得られたアプローチによって、新しいデータセットの正確な事前学習モデルを迅速に選択できることを実証的に実証する。
論文 参考訳（メタデータ） (2023-06-06T16:15:26Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳（メタデータ） (2023-01-30T20:59:30Z) - AutoRec: An Automated Recommender System [44.11798716678736]
エコシステムから拡張された、オープンソースの自動機械学習(AutoML)プラットフォームであるAutoRecを紹介します。
AutoRecはスパースとディープインプットの両方に対応可能な、非常にフレキシブルなパイプラインをサポートする。
ベンチマークデータセットで実施された実験によると、AutoRecは信頼性が高く、事前の知識なしに最高のモデルに似たモデルを特定することができる。
論文 参考訳（メタデータ） (2020-06-26T17:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。