Online Learning with LLM Experts from Limited Feedback
Abstractの概要
本論文では、応答品質のフィードバックが限られた回数しか得られない状況下で、複数のLLMエキスパート間でプロンプトをオンラインルーティングする問題を研究しています。著者らはこの問題を、プロンプトの埋め込みをコンテキスト、LLMを行動、ホライゾンTよりもはるかに小さいフィードバック予算をmとする文脈付きバンディットとして定式化しています。過去のラウンドにおける全エキスパートの報酬を照会できる完全情報フィードバックと、選択されたエキスパートの報酬のみを照会できるバンディットフィードバックのそれぞれに対して別個のアルゴリズムを開発しています。いずれの場合も、提案手法は過去のプロンプトを定期的に振り返り、共分散行列式を通じて情報利得を最大化するフィードバック点を選択します。本論文ではリグレット解析とRouterBenchおよびNectarでの実験を組み合わせ、この選択的フィードバック戦略が制約された教師あり環境下でルーティングを改善するかどうかを評価しています。
新規性
特徴的な貢献は、厳格なフィードバック予算のもとで、フィードバックを要求するかどうかだけでなく、過去のどのプロンプトを評価するかを学習者が適応的に選択できるオンラインLLMルーティングフレームワークです。提案されたフィードバック方針は、共分散行列の行列式を最大化する過去のプロンプトを選択し、共有の完全情報設定からエキスパート固有の信頼集合を持つバンディット設定へと拡張しています。
成果
完全情報設定でO(dT m^-1/2 log(TL))、バンディット設定でO(dT sqrt(K/m) log(TL))のリグレット限界と、対応する下限を証明しています。実証的には、提案手法はNectarおよびRouterBench上で効果的なルーティング方針を学習し、評価されたすべての予算においてバンディット設定でNoLookBackベースラインを上回りました。例えば、K=6、d=40、T=60000のNectarにおいて、m=20000のときLimBanFeedはNoLookBackの累積リグレット2090.7±21.2に対して1567.9±13.4を達成しました。
論文の注目点
- 遅延および予算制約のあるフィードバックを伴うLLMエキスパートへの適応的オンラインルーティングを、文脈付きバンディット問題として定式化している。
- 共分散行列式の最大化を通じて情報利得を最大化する過去のプロンプトに対し、遡及的にフィードバックを照会することが中核的なアルゴリズムのアイデアである。
- 理論的限界と実証結果により、選択的な遡及的フィードバックが現在のラウンドでのみフィードバックを照会する場合と比べてリグレットを低減すること、またバンディットフィードバックは完全情報フィードバックに対して追加のsqrt(K)係数を伴うことが示されている。