論文の概要: Is Moral Self-correction An Innate Capability of Large Language Models? A Mechanistic Analysis to Self-correction

• arxiv url: http://arxiv.org/abs/2410.20513v3
• Date: Sun, 23 Feb 2025 14:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:48:23.383882
• Title: Is Moral Self-correction An Innate Capability of Large Language Models? A Mechanistic Analysis to Self-correction
• Title（参考訳）: モーラル自己補正は大規模言語モデルの自然能力か? : 自己補正の力学解析
• Authors: Zimo Qi, Guangliang Liu, Kristen Marie Johnson, Lu Cheng,
• Abstract要約: 大規模言語モデル(LLM)における自己補正を妨げるボトルネックを特定することを目的としている。 隠れ状態に埋め込まれたモラルにおいて,異なる自己補正成分がどう相互作用するかを検討する。 第2の質問では、望ましい出力と望ましくない出力を区別するために効果的な自己補正を必要とする自己識別フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.271054803267951
• License:
• Abstract: Though there has been intensive attention to the self-correction capability of Large Language Models (LLMs), there are variant conclusions about its effectiveness. In this paper, we aim to identify the bottlenecks that hinder self-correction in LLMs by answering two fundamental questions for moral self-correction: (1) how different components in self-correction, such as Chain-of-Thought (CoT) reasoning, external feedback, and instructional prompts, interact to enable moral self-correction; and (2) is the self-correction one of LLMs' innate capabilities? To answer the first question, we examine how different self-correction components interact to intervene in the embedded morality within hidden states. For the second question, we propose a framework, self-distinguish, that requires effective self-correction to distinguish between desirable and undesirable outputs. Our mechanistic analysis reveals two primary bottlenecks for moral self-correction: (1) LLMs can not effectively leverage helpful feedback; (2) there exists conflicts between feedback and CoT. The self-distinguish experiment suggests that LLMs struggle to tell the differences among their outputs, which reveals an explanation to the two bottlenecks.
• Abstract（参考訳）: LLM(Large Language Models)の自己補正能力には注目が集まっているが、その有効性については様々な結論がある。 本稿では,LLMにおける自己補正を阻害するボトルネックを,(1) 自己補正の基本的な2つの疑問に答えることにより,認識することを目的としている。(1) 自己補正の構成要素,例えば,CoT(Chain-of-Thought)推論,外部フィードバック,指導的プロンプトが,道徳的自己補正を可能にするためにどのように相互作用するか,(2) 自己補正は,LLMの本質的な能力の1つであるか。 最初の質問に答えるために、異なる自己補正成分が、隠れた状態に埋め込まれた道徳にどう介入するかを検討する。 第2の質問では、望ましい出力と望ましくない出力を区別するために効果的な自己補正を必要とする自己識別フレームワークを提案する。 1)LLMは有用なフィードバックを効果的に活用することができず,(2)フィードバックとCoTの間には矛盾がある。 自己区別実験は、LLMが出力の違いを判断するのに苦労していることを示唆しており、この2つのボトルネックの説明が明らかになっている。

関連論文リスト

• ReVISE: Learning to Refine at Test-Time via Intrinsic Self-Verification [53.80183105328448]
  Refine via Intrinsic Self-Verification (ReVISE)は、LLMが自己検証を通じてアウトプットを自己修正できる効率的なフレームワークである。 様々な推論タスクに関する実験により、ReVISEは効率的な自己補正を実現し、推論性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-02-20T13:50:02Z)
• Confidence v.s. Critique: A Decomposition of Self-Correction Capability for LLMs [34.203575667558454]
  大規模言語モデル(LLM)は自己生成応答を補正することができるが、自己補正後の精度の低下も観察されている。 自己訂正能力は、自信(回答を正す自信)と批判(間違った回答を正しいものにする)に分解します。 我々の戦略は両方の能力においてバニラSFTより優れており、自己補正後の精度ははるかに高い。
  論文  参考訳（メタデータ） (2024-12-27T08:09:11Z)
• Understanding the Dark Side of LLMs' Intrinsic Self-Correction [55.51468462722138]
  LLMの応答を改善するために,本質的な自己補正法が提案された。 近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。 内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-12-19T15:39:31Z)
• Intrinsic Self-correction for Enhanced Morality: An Analysis of Internal Mechanisms and the Superficial Hypothesis [35.734425912914176]
  大規模言語モデル(LLM)は、ステレオタイプ、識別、毒性を永続するコンテンツを生成できる。 最近提案された道徳的自己補正は、LLMの応答における有害な内容を減らすための計算学的に効率的な方法である。 自己補正は、LLMが隠れた状態に保存されている不道徳性を本当に減らすのではなく、より道徳的に正しいアウトプットのショートカットを見つけるのに役立つと我々は主張する。
  論文  参考訳（メタデータ） (2024-07-21T22:50:11Z)
• Large Language Models have Intrinsic Self-Correction Ability [18.79203446847577]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおける例外的な能力に対して大きな注目を集めている。 LLMのパフォーマンスを改善するための有望な解決策の1つは、LLMに世代ごとの回答の修正を求めることである。 内在的な自己補正は、外部知識を活用できないため、有望な方向と考えられる。
  論文  参考訳（メタデータ） (2024-06-21T22:29:40Z)
• On the Intrinsic Self-Correction Capability of LLMs: Uncertainty and Latent Concept [36.27550578296276]
  大規模言語モデル(LLM)は、自己補正(self-correction)と呼ばれる機能によって、その応答を改善することができる。 内在的な自己補正は、様々な応用で明らかであるが、それが有効である理由や理由は不明である。 内在的な自己補正は徐々に改善され、収束状態に近づくことができることを示す。
  論文  参考訳（メタデータ） (2024-06-04T14:55:43Z)
• A Theoretical Understanding of Self-Correction through In-context Alignment [51.622068973630796]
  大規模言語モデル(LLM)は自己補正によって純粋に能力を向上させることができる。 LLMが比較的正確な自己評価を報酬として与える場合、文脈内応答を補充できることを示す。 これらの知見に触発されて,LLMジェイルブレイクに対する防御などの自己補正の応用についても解説した。
  論文  参考訳（メタデータ） (2024-05-28T22:33:02Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)
• Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models [23.42725642076256]
  大規模言語モデル(LLM)は、自己訂正能力への関心が高まっている。 本稿では,LLMの内在的自己補正に関する包括的研究について述べる。 We developed a "If-or-Else" prompting framework, designed to guide LLMs in evaluation of their "confidence"。
  論文  参考訳（メタデータ） (2024-02-19T21:38:02Z)
• Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
  大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。 我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。 提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:52:42Z)
• Large Language Models Cannot Self-Correct Reasoning Yet [78.16697476530994]
  LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。 生成したコンテンツの正確性と適切性に関する懸念が続いている。 現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
  論文  参考訳（メタデータ） (2023-10-03T04:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。