論文の概要: In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting

• arxiv url: http://arxiv.org/abs/2408.13028v1
• Date: Fri, 23 Aug 2024 12:32:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 15:10:31.020705
• Title: In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting
• Title（参考訳）: 不完全な発話書き換えのための強化学習を用いた文脈内学習
• Authors: Haowei Du, Dongyan Zhao,
• Abstract要約: 大規模言語モデル(LLM)の文脈内学習は、いくつかの例で拡張された命令に基づいて予測を行う。 ICLの既存の例選択方法はスパースまたは高密度レトリバーを使用し、有効性能を導出する。 本稿では,言語モデルセレクタとLLMジェネレータから構成される実例選択(RLS)のためのポリシーベース強化学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.89176174108559
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In-context learning (ICL) of large language models (LLMs) has attracted increasing attention in the community where LLMs make predictions only based on instructions augmented with a few examples. Existing example selection methods for ICL utilize sparse or dense retrievers and derive effective performance. However, these methods do not utilize direct feedback of LLM to train the retriever and the examples selected can not necessarily improve the analogy ability of LLM. To tackle this, we propose our policy-based reinforcement learning framework for example selection (RLS), which consists of a language model (LM) selector and an LLM generator. The LM selector encodes the candidate examples into dense representations and selects the top-k examples into the demonstration for LLM. The outputs of LLM are adopted to compute the reward and policy gradient to optimize the LM selector. We conduct experiments on different datasets and significantly outperform existing example selection methods. Moreover, our approach shows advantages over supervised finetuning (SFT) models in few shot setting. Further experiments show the balance of abundance and the similarity with the test case of examples is important for ICL performance of LLM.
• Abstract（参考訳）: 大規模言語モデル(LLM)の文脈内学習(ICL)は、LLMがいくつかの例で拡張された命令に基づいてのみ予測を行うコミュニティにおいて注目されている。 ICLの既存の例選択方法はスパースまたは高密度レトリバーを使用し、有効性能を導出する。 しかし、これらの手法はLLMの直接フィードバックを利用してレトリバーを訓練するわけではなく、選択した例はLLMの類似性を必ずしも改善できない。 そこで本研究では,言語モデルセレクタとLLMジェネレータから構成されるRLS(Regressed Learning framework for example selection)を提案する。 LMセレクタは、候補の例を高密度表現にエンコードし、上位k例をLSMのデモに選択する。 LLMの出力は、報酬とポリシー勾配を計算し、LMセレクタを最適化するために使用される。 異なるデータセットで実験を行い、既存のサンプル選択方法よりも大幅に優れています。 さらに,本手法は,少数のショット設定において,教師付きファインタニング(SFT)モデルよりも優れていることを示す。 さらに, LLM のICL 性能において, 実例と実例の類似性が重要であることを示す実験を行った。

関連論文リスト

• Fine-Grained Guidance for Retrievers: Leveraging LLMs' Feedback in Retrieval-Augmented Generation [20.420575358183687]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に固有の幻覚を緩和する有効な方法であることが証明されている。 従来のアプローチでは、通常、RAGの最適化に欠けるセマンティックな類似性に基づいて、レトリバーをトレーニングする。 我々は,LLMの言語機能を活用して,より粒度の細かい情報中心の視点からサンプルを構築する新しいフレームワークFiGRetを提案する。
  論文  参考訳（メタデータ） (2024-11-06T14:42:39Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なタスクで顕著な成功を収めたため、人気が高まっている。 しかしながら、個々のLLMは、トレーニングバイアス、モデルサイズ、使用されるデータセットなどの要因のために、複雑なタスクに適用する場合に制限がある。 本稿では,入力クエリを大規模プールからLLMの最も適切なサブセットに誘導する新しいアルゴリズムであるSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
  In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。 本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
  論文  参考訳（メタデータ） (2024-08-14T12:32:41Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning [61.68787689234622]
  最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。 これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。 本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
  論文  参考訳（メタデータ） (2023-12-04T00:46:11Z)
• More Samples or More Prompts? Exploring Effective In-Context Sampling for LLM Few-Shot Prompt Engineering [35.086135550672864]
  In-Context Smpling (ICS) を提案し、複数のICLプロンプト入力の構成を最適化し、確実な予測を行う。 3つのデータ類似性に基づくICS戦略による詳細な評価は、これらの戦略がLLMの性能をさらに高める可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-16T11:02:49Z)
• Which Examples to Annotate for In-Context Learning? Towards Effective and Efficient Selection [35.924633625147365]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を介して新しいタスクに適応できる そこで本研究では,ICLのアクティブな学習手法について検討し,アノテートのための予算が限られている。 本稿では,モデルが不確実であることを示すモデル適応型最適化自由アルゴリズムAdaICLを提案する。
  論文  参考訳（メタデータ） (2023-10-30T22:03:55Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。