論文の概要: Large Language Models Cannot Self-Correct Reasoning Yet

• arxiv url: http://arxiv.org/abs/2310.01798v2
• Date: Thu, 14 Mar 2024 04:27:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 02:32:48.708296
• Title: Large Language Models Cannot Self-Correct Reasoning Yet
• Title（参考訳）: 大規模言語モデルでは、自己修正型推論はまだできない
• Authors: Jie Huang, Xinyun Chen, Swaroop Mishra, Huaixiu Steven Zheng, Adams Wei Yu, Xinying Song, Denny Zhou,
• Abstract要約: LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。 生成したコンテンツの正確性と適切性に関する懸念が続いている。 現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
• 参考スコア（独自算出の注目度）: 78.16697476530994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have emerged as a groundbreaking technology with their unparalleled text generation capabilities across various applications. Nevertheless, concerns persist regarding the accuracy and appropriateness of their generated content. A contemporary methodology, self-correction, has been proposed as a remedy to these issues. Building upon this premise, this paper critically examines the role and efficacy of self-correction within LLMs, shedding light on its true potential and limitations. Central to our investigation is the notion of intrinsic self-correction, whereby an LLM attempts to correct its initial responses based solely on its inherent capabilities, without the crutch of external feedback. In the context of reasoning, our research indicates that LLMs struggle to self-correct their responses without external feedback, and at times, their performance even degrades after self-correction. Drawing from these insights, we offer suggestions for future research and practical applications in this field.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なアプリケーションにまたがる非並列テキスト生成機能を備えた画期的な技術として登場した。 それでも、生成されたコンテンツの正確性や適切性については懸念が続いている。 現代の方法論である自己補正がこれらの問題に対する対策として提案されている。 この前提に基づいて,本論文はLLMにおける自己補正の役割と効果を批判的に検討し,その真の可能性と限界について光を当てる。 我々の研究の中心は、内在的自己補正の概念であり、LLMは、外部からのフィードバックの欠如なしに、その固有の能力のみに基づいて初期応答を補正しようと試みる。 推論の文脈では、LLMは外部からのフィードバックなしに自己修正に苦慮しており、時には自己修正後にその性能が低下することさえある。 これらの知見から,本分野での今後の研究と実践的応用について提案する。

関連論文リスト

• Large Language Models have Intrinsic Self-Correction Ability [16.831123666582755]
  大規模言語モデルは、性能劣化を引き起こす幻覚に悩まされる。 LLMのパフォーマンスを改善するための有望な解決策の1つは、LLMに世代ごとの回答の修正を求めることである。 内在的な自己補正は、外部知識を活用できないため、有望な方向と考えられる。
  論文  参考訳（メタデータ） (2024-06-21T22:29:40Z)
• When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs [29.295135832861522]
  自己補正(Self-correction)は、LLMを用いて推論中に応答を精製することで、大きな言語モデル(LLM)からの応答を改善するアプローチである。 これまでの作業では,自己評価や外部からのフィードバックなど,さまざまなフィードバック源を用いたさまざまな自己補正フレームワークが提案されていた。 我々は幅広い論文を批判的に調査し、自己補正を成功させるために必要な条件について議論する。
  論文  参考訳（メタデータ） (2024-06-03T13:05:46Z)
• A Theoretical Understanding of Self-Correction through In-context Alignment [51.622068973630796]
  大規模言語モデル(LLM)は自己補正によって純粋に能力を向上させることができる。 LLMが比較的正確な自己評価を報酬として与える場合、文脈内応答を補充できることを示す。 これらの知見に触発されて,LLMジェイルブレイクに対する防御などの自己補正の応用についても解説した。
  論文  参考訳（メタデータ） (2024-05-28T22:33:02Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)
• Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models [23.42725642076256]
  大規模言語モデル(LLM)は、自己訂正能力への関心が高まっている。 本稿では,LLMの内在的自己補正に関する包括的研究について述べる。 We developed a "If-or-Else" prompting framework, designed to guide LLMs in evaluation of their "confidence"。
  論文  参考訳（メタデータ） (2024-02-19T21:38:02Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)
• CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing [139.77117915309023]
  CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。 自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
  論文  参考訳（メタデータ） (2023-05-19T15:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。