論文の概要: Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves

• arxiv url: http://arxiv.org/abs/2311.04205v1
• Date: Tue, 7 Nov 2023 18:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 14:20:33.594135
• Title: Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves
• Title（参考訳）: Rephrase and Respond: 大規模言語モデルでテーマに対する質問を改善する
• Authors: Yihe Deng, Weitong Zhang, Zixiang Chen, Quanquan Gu
• Abstract要約: 本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
• 参考スコア（独自算出の注目度）: 63.33254282051988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Misunderstandings arise not only in interpersonal communication but also between humans and Large Language Models (LLMs). Such discrepancies can make LLMs interpret seemingly unambiguous questions in unexpected ways, yielding incorrect responses. While it is widely acknowledged that the quality of a prompt, such as a question, significantly impacts the quality of the response provided by LLMs, a systematic method for crafting questions that LLMs can better comprehend is still underdeveloped. In this paper, we present a method named `Rephrase and Respond' (RaR), which allows LLMs to rephrase and expand questions posed by humans and provide responses in a single prompt. This approach serves as a simple yet effective prompting method for improving performance. We also introduce a two-step variant of RaR, where a rephrasing LLM first rephrases the question and then passes the original and rephrased questions together to a different responding LLM. This facilitates the effective utilization of rephrased questions generated by one LLM with another. Our experiments demonstrate that our methods significantly improve the performance of different models across a wide range to tasks. We further provide a comprehensive comparison between RaR and the popular Chain-of-Thought (CoT) methods, both theoretically and empirically. We show that RaR is complementary to CoT and can be combined with CoT to achieve even better performance. Our work not only contributes to enhancing LLM performance efficiently and effectively but also sheds light on a fair evaluation of LLM capabilities. Data and codes are available at https://github.com/uclaml/Rephrase-and-Respond.
• Abstract（参考訳）: 誤解は対人コミュニケーションだけでなく、人間と大規模言語モデル(llm)の間でも生じる。 このような不一致は、LCMが予期せぬ方法で不明瞭な質問を解釈し、誤った反応をもたらす可能性がある。 質問などのプロンプトの質がLLMの応答の質に大きく影響していることは広く認識されているが、LLMがより理解しやすい質問を体系的に作成する方法はまだ未開発である。 本稿では,LLMが人間による質問をリフレーズ・拡張し,応答を1つのプロンプトで提供する手法であるRaR(Rephrase and Respond)を提案する。 このアプローチは、パフォーマンスを改善するためのシンプルで効果的なプロンプト手法として役立ちます。 また、2段階のRaRを導入し、まずLLMが質問をリフレーズし、次に元の質問とリフレーズした質問をそれぞれ別の応答LLMに渡す。 これにより、ある LLM と別の LLM が生成した言い換え質問を効果的に活用することができる。 実験により,本手法はタスクの範囲で,様々なモデルの性能を著しく向上させることを示した。 さらに、RaRと一般的なChain-of-Thought(CoT)法を理論的にも経験的にも包括的に比較する。 RaRはCoTと相補的であり、CoTと組み合わせることでより優れたパフォーマンスを実現することができることを示す。 我々の研究は,LLMの性能向上に効率よく貢献するだけでなく,LLM能力の公平な評価にも光を当てている。 データとコードはhttps://github.com/uclaml/rephrase-and-respondで入手できる。

関連論文リスト

• Meta Ranking: Less Capable Language Models are Capable for Single Response Judgement [40.57471062885033]
  我々は、個々の応答の信頼性を判断するために、 $textitMeta$ $textitRanking$ (MR) という新しい方法を提案する。 MRは、クエリルーティングと反復的なトレーニングデータフィルタリングという2つの実用的な応用において、LLMの性能を高めるために使用できる。
  論文  参考訳（メタデータ） (2024-02-19T13:57:55Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [64.0049955128318]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Knowing What LLMs DO NOT Know: A Simple Yet Effective Self-Detection Method [37.61193254658253]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて大きな可能性を示している。 近年の文献では、LLMは断続的に非実効応答を生成する。 本研究では,LLM が知らない質問が非現実的な結果を生成する傾向にあることを検知する新たな自己検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T06:22:14Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)
• RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought [56.558892336235914]
  Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。 RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。 手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-19T08:02:52Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。