Fugu-MT 論文翻訳(概要): Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models

論文の概要: Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models

arxiv url: http://arxiv.org/abs/2507.02778v2
Date: Sat, 04 Oct 2025 08:57:59 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-07 14:28:10.270097
Title: Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models
Title（参考訳）: 自己補正ベンチ:大規模言語モデルにおける自己補正ブラインドスポットの発見と対応
Authors: Ken Tsui,
Abstract要約: 大規模言語モデル(LLM)は誤りを犯し、非生産的推論経路を探索することができる。自己補正機能は、安全クリティカルなアプリケーションにLLMをデプロイするために不可欠である。 LLMは、外部ソースから同一のエラーを修正しながら、自身の出力でエラーを修正することはできない。
参考スコア（独自算出の注目度）: 0.7910367295422812
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Although large language models (LLMs) have transformed AI, they still make mistakes and can explore unproductive reasoning paths. Self-correction capability is essential for deploying LLMs in safety-critical applications. We uncover a systematic failure: LLMs cannot correct errors in their own outputs while successfully correcting identical errors from external sources - a limitation we term the Self-Correction Blind Spot. To study this phenomenon, we introduce Self-Correction Bench, an evaluation framework to measure this phenomenon through controlled error injection at three complexity levels. Testing 14 open-source non-reasoning models, we find an average 64.5% blind spot rate. We provide multiple lines of evidence suggesting this limitation may be influenced by training data: human demonstrations rarely include error-correction sequences (favoring error-free responses), whereas reinforcement learning (RL) trained models learn error correction via outcome feedback. Remarkably, appending a minimal "Wait" prompt activates a 89.3% reduction in blind spots, suggesting dormant capabilities that require triggering. Our work highlights a critical limitation potentially influenced by training distribution and offers a practical approach to enhance LLM reliability and trustworthiness - vital for safety-critical domains.
Abstract（参考訳）: 大規模言語モデル(LLM)はAIを変革したが、それでも間違いを犯し、非生産的な推論経路を探索することができる。自己補正機能は、安全クリティカルなアプリケーションにLLMをデプロイするために不可欠である。 LLMは、外部ソースから同じエラーを修正しながら、自身の出力でエラーを修正できません。この現象を研究するために,3つの複雑性レベルにおける制御誤差注入による評価フレームワークであるSelf-Correction Benchを導入する。 14のオープンソース非推論モデルをテストすると、平均64.5%の盲点率が得られる。人間の実演にはエラー訂正シーケンス(エラーのない応答が好ましい)がほとんどないのに対し、強化学習(RL)訓練モデルでは、結果フィードバックを通じてエラー訂正を学習する。注目すべきは、最小限の"Wait"プロンプトを追加すると、89.3%の盲点が減少し、トリガーを必要とする休眠能力が示唆されることである。我々の研究は、トレーニングの配布に影響される可能性のある臨界限界を強調し、LLMの信頼性と信頼性を高める実践的なアプローチを提供する。

関連論文リスト

Don't Take the Premise for Granted: Evaluating the Premise Critique Ability of Large Language Models [11.379764847748378]
大規模言語モデル(LLM)は、しばしば欠陥や矛盾した前提を受け入れ、非効率な推論と信頼できない出力をもたらす。このことは、入力前提におけるエラーを積極的に識別し、明示する能力として定義されたLSMのためのtextbfPremise Critique Aabilities を持つことの重要性を強調している。我々は,3つの難易度に4つのエラータイプを組み込んで設計したtextbfPremise Critique Bench (PCBench) を,多面的評価指標と組み合わせて紹介する。
論文参考訳（メタデータ） (2025-05-29T17:49:44Z)
Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
論文参考訳（メタデータ） (2025-05-27T16:24:02Z)
Too Consistent to Detect: A Study of Self-Consistent Errors in LLMs [61.12688072239607]
本研究は, 自己整合誤差を正式に定義し, 主流検出手法の評価を行う。 4種類の検出メソドは全て、自己整合性エラーを検出するのにかなり苦労している。自己整合性誤差がLLM間でしばしば異なるという観測結果から, 単純かつ効果的なクロスモデルプローブ法を提案する。
論文参考訳（メタデータ） (2025-05-23T09:18:56Z)
S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文参考訳（メタデータ） (2025-02-18T13:40:22Z)
Know Your Mistakes: Towards Preventing Overreliance on Task-Oriented Conversational AI Through Accountability Modeling [9.305763502526833]
本稿では,ユーザ過度に対処するタスク指向対話エージェントのための説明責任モデルを提案する。実験結果から,提案手法はAIエージェントエラーの信頼性の高い推定を可能にするだけでなく,デコーダがより正確な動作を生成することを示唆している。
論文参考訳（メタデータ） (2025-01-17T17:40:12Z)
ATTNChecker: Highly-Optimized Fault Tolerant Attention for Large Language Model Training [14.178223242134166]
大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて顕著な性能を示した。 LLMは、特にアテンション機構において故障の影響を受けやすいが、これはトランスフォーマーベースのLLMの重要な構成要素である。我々は,LLMにおけるアテンション機構に適したアルゴリズムベースフォールトトレランス(ABFT)技術であるATTNCheckerを提案する。
論文参考訳（メタデータ） (2024-10-15T15:52:45Z)
Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
論文参考訳（メタデータ） (2024-09-19T17:16:21Z)
AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
論文参考訳（メタデータ） (2024-06-24T15:16:45Z)
Large Language Models have Intrinsic Self-Correction Ability [18.79203446847577]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおける例外的な能力に対して大きな注目を集めている。 LLMのパフォーマンスを改善するための有望な解決策の1つは、LLMに世代ごとの回答の修正を求めることである。内在的な自己補正は、外部知識を活用できないため、有望な方向と考えられる。
論文参考訳（メタデータ） (2024-06-21T22:29:40Z)
SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales [29.33581578047835]
SaySelfは、大規模言語モデルに、より正確なきめ細かな信頼推定を表現するためのトレーニングフレームワークである。さらに、SaySelf は LLM に対して、パラメトリック知識のギャップを明確に識別する自己反射的合理性を生成するよう指示する。生成した自己反射的理性は合理的であり、キャリブレーションにさらに貢献できることを示す。
論文参考訳（メタデータ） (2024-05-31T16:21:16Z)
Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
論文参考訳（メタデータ） (2024-04-26T03:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。