Fugu-MT 論文翻訳(概要): Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models

論文の概要: Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models

arxiv url: http://arxiv.org/abs/2406.02061v5
Date: Wed, 05 Mar 2025 01:58:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-06 15:50:26.493673
Title: Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models
Title（参考訳）: Alice in Wonderland: State-Of-the-Art Large Language Modelにおける完全推論のブレークダウンを示す単純なタスク
Authors: Marianna Nezhurina, Lucia Cipolina-Kun, Mehdi Cherti, Jenia Jitsev,
Abstract要約: 大規模言語モデル(LLM)は、しばしばスケーリング法則に従う強力な一般化を持つ基礎モデルの例として記述される。ここでは、強い関数を主張する全てのSOTAモデルの一般化と基本的推論の劇的な分解を示す。また、間違った解法において強い過信感を観察し、妥当な音響的説明のような折り畳みの形で表現する。
参考スコア（独自算出の注目度）: 13.532180752491954
License:
Abstract: Large Language Models (LLMs) are often described as instances of foundation models that possess strong generalization obeying scaling laws, and therefore transfer robustly across various conditions in few- or zero-shot manner. Such claims rely on standardized benchmarks that suppose to measure generalization and reasoning, where state-of-the-art (SOTA) models score high. We demonstrate here a dramatic breakdown of generalization and basic reasoning of all SOTA models claiming strong function, including large scale advanced models like GPT-4 or Claude 3 Opus, using a simple, short common sense math problem formulated in concise natural language, easily solvable by humans (AIW problem). The breakdown is dramatic as it manifests on a simple problem in both low average performance and strong performance fluctuations on natural variations in problem template that do not change either problem structure or its difficulty at all. By testing models on further control problems with similar form, we rule out that breakdown might be rooted in minor low-level issues like natural language or numbers parsing. We also observe strong overconfidence in the wrong solutions, expressed in form of plausible sounding explanation-like confabulations. Various standard interventions in an attempt to get the right solution, like chain-of-thought prompting, or urging the models to reconsider the wrong solutions again by multi step re-evaluation, fail. We use these observations to stimulate re-assessment of the capabilities of current generation of LLMs as claimed by standardized benchmarks. Such re-assessment also requires common action to create standardized benchmarks that would allow proper detection of such deficits in generalization and reasoning that obviously remain undiscovered by current state-of-the-art evaluation procedures, where SOTA LLMs manage to score high. Code: https://github.com/LAION-AI/AIW
Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば、スケーリング法則に従って強力な一般化を持つ基礎モデルの例として記述され、したがって、少数またはゼロショットの方法で様々な条件にわたって堅牢に転送される。このような主張は、一般化と推論を測る標準ベンチマークに依存しており、最新式SOTA(State-of-the-art(英語版))モデルは高いスコアを得る。本稿では, GPT-4 や Claude 3 Opus のような大規模高度なモデルを含む強力な関数を主張する全ての SOTA モデルの一般化と基本的推論を, 簡潔で簡潔な自然言語で定式化され, 人間の解き易い数学問題(AIW 問題)を用いて, 劇的な解析を行った。低平均性能と、問題構造や難易度がまったく変化しない問題テンプレートの自然変動に関する強い性能変動の両方において、単純な問題に現れているため、その分解は劇的である。同様の形のさらなる制御問題に関するモデルをテストすることによって、ブレークダウンは自然言語や数値解析のような小さな低レベル問題に根ざす可能性があると、我々は結論付けている。また、間違った解法において強い過信感を観察し、妥当な音響的説明のような折り畳みの形で表現する。正しいソリューションを得るための様々な標準的な介入、例えばチェーン・オブ・ソート・プロンプト、あるいはモデルに、複数のステップの再評価によって間違ったソリューションを再考するよう促す、といったことは失敗します。我々はこれらの観測結果を用いて、標準化されたベンチマークによって要求される現在のLLMの能力の再評価を刺激する。このような再評価は、SOTA LLMが高得点を達成している現在の最先端評価手順によって明らかに発見されていないような一般化と推論において、これらの欠陥を適切に検出できるような標準化されたベンチマークを作成するための共通の行動も要求される。コード:https://github.com/LAION-AI/AIW

論文の概要: Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models

関連論文リスト