論文の概要: Self-correction is Not An Innate Capability in Large Language Models: A Case Study of Moral Self-correction

• arxiv url: http://arxiv.org/abs/2410.20513v4
• Date: Sat, 01 Mar 2025 18:58:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:10:14.790186
• Title: Self-correction is Not An Innate Capability in Large Language Models: A Case Study of Moral Self-correction
• Title（参考訳）: 大規模言語モデルにおける自己補正は自然能力ではない:道徳的自己補正を事例として
• Authors: Zimo Qi, Guangliang Liu, Kristen Marie Johnson, Lu Cheng,
• Abstract要約: 我々は、道徳的自己補正は大規模言語モデル(LLM)の本質的な能力ではないと論じる。 我々は,CoT(Chain-of-Thought)推論や外部フィードバックといった自己補正の重要な構成要素が,道徳的自己補正を実現するためにどのように相互作用するかを,機械論的に分析する。
• 参考スコア（独自算出の注目度）: 5.271054803267951
• License:
• Abstract: Though there has been intensive attention to the self-correction capability of Large Language Models (LLMs), conclusions regarding its effectiveness remain varied. In this paper, we investigate a fundamental question: is moral self-correction an innate capability in LLMs? To explore this, we conduct (1) a mechanistic analysis of how key components of self-correction, such as Chain-of-Thought (CoT) reasoning and external feedback, interact to enable moral self-correction; and (2) a behavioral analysis of LLMs' ability to distinguish between desired and undesired outputs, introducing a self-distinguish framework. Our mechanistic analysis reveals that LLMs struggle to effectively leverage helpful feedback, and conflicts can arise between feedback and CoT reasoning. These limitations suggest that LLMs fail to identify useful contextual information, instead prioritizing their own internal knowledge. Additionally, our behavioral analysis indicates that LLMs struggle to differentiate among their own outputs. Based on these empirical findings across two analytical dimensions, mechanism and behavior, we argue that moral self-correction is not an innate capability of LLMs.
• Abstract（参考訳）: LLM(Large Language Models)の自己補正能力に注目が集まっているが、その効果に関する結論は様々である。 本稿では,道徳的自己補正は LLM の本質的な能力か,という根本的な疑問について考察する。 そこで本研究では,(1)CoT(Chain-of-Thought)推論や外部からのフィードバックといった自己補正のキーコンポーネントが,道徳的自己補正を実現するためにどのように相互作用するか,(2)所望のアウトプットと望ましくないアウトプットを区別するLLMの行動分析を行い,自己識別フレームワークを導入する。 我々の力学解析によると、LLMは有用なフィードバックを効果的に活用するのに苦労しており、フィードバックとCoT推論の衝突が発生する可能性がある。 これらの制限は、LLMが自身の内部知識を優先する代わりに、有用なコンテキスト情報の特定に失敗したことを示唆している。 さらに, 行動分析の結果から, LLMはそれぞれの出力の区別に苦慮していることが明らかとなった。 これら2つの分析次元、メカニズム、行動に関する経験的知見に基づいて、道徳的自己補正はLLMの本質的な能力ではないと論じる。

関連論文リスト

• ReVISE: Learning to Refine at Test-Time via Intrinsic Self-Verification [53.80183105328448]
  Refine via Intrinsic Self-Verification (ReVISE)は、LLMが自己検証を通じてアウトプットを自己修正できる効率的なフレームワークである。 様々な推論タスクに関する実験により、ReVISEは効率的な自己補正を実現し、推論性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-02-20T13:50:02Z)
• Confidence v.s. Critique: A Decomposition of Self-Correction Capability for LLMs [34.203575667558454]
  大規模言語モデル(LLM)は自己生成応答を補正することができるが、自己補正後の精度の低下も観察されている。 自己訂正能力は、自信(回答を正す自信)と批判(間違った回答を正しいものにする)に分解します。 我々の戦略は両方の能力においてバニラSFTより優れており、自己補正後の精度ははるかに高い。
  論文  参考訳（メタデータ） (2024-12-27T08:09:11Z)
• Understanding the Dark Side of LLMs' Intrinsic Self-Correction [55.51468462722138]
  LLMの応答を改善するために,本質的な自己補正法が提案された。 近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。 内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-12-19T15:39:31Z)
• Intrinsic Self-correction for Enhanced Morality: An Analysis of Internal Mechanisms and the Superficial Hypothesis [35.734425912914176]
  大規模言語モデル(LLM)は、ステレオタイプ、識別、毒性を永続するコンテンツを生成できる。 最近提案された道徳的自己補正は、LLMの応答における有害な内容を減らすための計算学的に効率的な方法である。 自己補正は、LLMが隠れた状態に保存されている不道徳性を本当に減らすのではなく、より道徳的に正しいアウトプットのショートカットを見つけるのに役立つと我々は主張する。
  論文  参考訳（メタデータ） (2024-07-21T22:50:11Z)
• Large Language Models have Intrinsic Self-Correction Ability [18.79203446847577]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおける例外的な能力に対して大きな注目を集めている。 LLMのパフォーマンスを改善するための有望な解決策の1つは、LLMに世代ごとの回答の修正を求めることである。 内在的な自己補正は、外部知識を活用できないため、有望な方向と考えられる。
  論文  参考訳（メタデータ） (2024-06-21T22:29:40Z)
• On the Intrinsic Self-Correction Capability of LLMs: Uncertainty and Latent Concept [36.27550578296276]
  大規模言語モデル(LLM)は、自己補正(self-correction)と呼ばれる機能によって、その応答を改善することができる。 内在的な自己補正は、様々な応用で明らかであるが、それが有効である理由や理由は不明である。 内在的な自己補正は徐々に改善され、収束状態に近づくことができることを示す。
  論文  参考訳（メタデータ） (2024-06-04T14:55:43Z)
• A Theoretical Understanding of Self-Correction through In-context Alignment [51.622068973630796]
  大規模言語モデル(LLM)は自己補正によって純粋に能力を向上させることができる。 LLMが比較的正確な自己評価を報酬として与える場合、文脈内応答を補充できることを示す。 これらの知見に触発されて,LLMジェイルブレイクに対する防御などの自己補正の応用についても解説した。
  論文  参考訳（メタデータ） (2024-05-28T22:33:02Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)
• Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models [23.42725642076256]
  大規模言語モデル(LLM)は、自己訂正能力への関心が高まっている。 本稿では,LLMの内在的自己補正に関する包括的研究について述べる。 We developed a "If-or-Else" prompting framework, designed to guide LLMs in evaluation of their "confidence"。
  論文  参考訳（メタデータ） (2024-02-19T21:38:02Z)
• Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
  大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。 我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。 提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:52:42Z)
• Large Language Models Cannot Self-Correct Reasoning Yet [78.16697476530994]
  LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。 生成したコンテンツの正確性と適切性に関する懸念が続いている。 現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
  論文  参考訳（メタデータ） (2023-10-03T04:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。