Fugu-MT 論文翻訳(概要): The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans

論文の概要: The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans

arxiv url: http://arxiv.org/abs/2606.27103v1
Date: Thu, 25 Jun 2026 14:41:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-26 18:46:32.323332
Title: The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans
Title（参考訳）: Riddle Riddle: 大規模言語モデルと人間におけるフレキシブル推論のテスト
Abstract要約: 人間は与えられた問題の要求に柔軟に推論戦略を適用する。リドル・リドル(Riddle riddle)は、一般的なリドルを模倣するために書かれた単語の問題である。人間と大きな言語モデルは、このパラダイムでは反対方向に失敗する。
参考スコア（独自算出の注目度）: 5.719242751508825
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Humans flexibly adapt their reasoning strategies to the requirements of a given problem. Large language models (LLMs) have performed well on many cognitive tasks, however, it is unclear whether this accuracy is a result of pattern matching from training data or flexible reasoning. Here, we introduce a novel paradigm to test this question: the riddle riddle paradigm. Riddle riddles are word problems written to mimic popular riddles, but altered so their answers only require literal interpretations. Identifying correct answers requires looking past the structure of each question and flexibly apply different reasoning strategies based on the content. If LLMs respond to surface features, such as form, a riddle-like structure should cause models to use an inventive reasoning strategy even when a literal interpretation suffices. Alternatively, if LLMs reason based on content, they should flexibly switch strategies when appropriate. Across two experiments with nine state-of-the-art LLMs and 100 human participants, we show humans and LLMs fail on this paradigm in opposite directions. LLMs were far more accurate on genuine riddles than on riddle riddles (84.9% vs. 50.7%); whereas humans showed the reverse effect (50.5% vs. 80.5%). Error analysis shows that 90.8% of LLM errors on riddle riddles (the condition where they show diminished performance) were due to inappropriate use of inventive reasoning while only 57.6% of human errors on genuine riddles were due to overextending literal reasoning. Thus, while both groups make mistakes, reasoning mistakes are made more often by LLMs than by humans. Overall, LLMs' strong performance on genuine riddles may reflect memory retrieval rather than flexible strategy selection, and without stimuli designed to elicit this contrast, it becomes easy to conflate LLM-generated outputs that look like reasoning with genuine reasoning.
Abstract（参考訳）: 人間は与えられた問題の要求に柔軟に推論戦略を適用する。大規模言語モデル(LLM)は多くの認知的タスクでよく機能しているが、この精度はトレーニングデータからのパターンマッチングの結果なのか、柔軟な推論の結果なのかは定かではない。ここでは、この問題をテストするための新しいパラダイムを紹介します。リドル・リドル(Riddle riddle)は、一般的なリドルを模倣するために書かれた単語の問題である。正しい回答を識別するには、各質問の構造を見直し、コンテンツに基づいて異なる推論戦略を柔軟に適用する必要がある。 LLMがフォームのような表面的特徴に応答した場合、リガルのような構造は、リテラル解釈が十分である場合でも、モデルが創発的推論戦略を使用する必要がある。あるいは、LCMがコンテンツに基づいた理由付けをするなら、適切なときに戦略を柔軟に切り替えるべきである。 9つの最先端のLLMと100人の人間による2つの実験で、人間とLLMは反対方向にこのパラダイムに失敗することを示した。 LLMはライドルライドルよりも本物のライドルの方がはるかに正確であり(84.9%対50.7%)、人間はリバース効果(50.5%対80.5%)を示した。エラー分析により、リガリングのLLMエラーの90.8%(性能が低下した状態)は、発明的推論の不適切な使用によるものであり、真のリガリングのヒューマンエラーの57.6%は、過剰なリテラル推論によるものであることが示された。したがって、どちらのグループも誤りを犯すが、推論ミスは人間よりもLSMによって頻繁に行われる。全体として、LLMの真のリドルに対する強い性能は、フレキシブルな戦略選択よりもメモリ検索を反映する可能性がある。

関連論文リスト

Intermediate Languages Matter: Formal Choice Drives Neurosymbolic LLM Reasoning [50.99811144731619]
形式言語の選択は構文的および意味論的推論能力の両方に影響を及ぼすことを示す。平均的な文脈認識エンコーディングはLCMの推論に役立つが、コメントやマークダウン構文を使うことによる明らかな影響はない、と結論付けている。
論文参考訳（メタデータ） (2025-02-24T14:49:52Z)
Empowering LLMs with Logical Reasoning: A Comprehensive Survey [49.91445266392609]
大規模言語モデル(LLM)は様々なタスクにおいて顕著な成功を収めた。近年の研究では、LLMの論理的推論能力にはまだ大きな課題があることがわかった。
論文参考訳（メタデータ） (2025-02-21T18:20:35Z)
No Need for Explanations: LLMs can implicitly learn from mistakes in-context [15.70441204657966]
我々は,大規模な言語モデルが誤りからより効果的に学習する理由を,明確な正当性を持たずに研究する。我々は、誤答がLLM学習にとってより有益である一方で、モデルに過度に拘束された明確な補正的合理性を示す証拠を見出した。
論文参考訳（メタデータ） (2025-02-12T16:31:21Z)
On Memorization of Large Language Models in Logical Reasoning [70.94164038947078]
大きな言語モデル(LLM)は、挑戦的な推論ベンチマークで優れたパフォーマンスを達成するが、基本的な推論ミスを発生させることもできる。 1つの仮説は、より高度でほぼ飽和した性能は、類似した問題の記憶が原因ではないかというものである。微調整は暗記を重くするが,常に一般化性能を向上することを示す。
論文参考訳（メタデータ） (2024-10-30T15:31:54Z)
Do Large Language Models Truly Grasp Mathematics? An Empirical Exploration From Cognitive Psychology [15.572185318032139]
提案手法は,Chains of Thoughtプロンプトを用いても,修正されたCRT問題を解く際の誤り率が高いことを示す。具体的には、従来の質問と比べて平均精度が最大50%低下した。この発見は、LLMが人間に匹敵する真の数学的推論能力を持っているという信念に挑戦する。
論文参考訳（メタデータ） (2024-10-19T05:01:56Z)
Not All LLM Reasoners Are Created Equal [58.236453890457476]
小学校数学におけるLLMの解答能力の深さについて検討する。既存の数式語問題に対して,それらの性能を併用して評価する。
論文参考訳（メタデータ） (2024-10-02T17:01:10Z)
Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models [0.0]
大規模言語モデル(LLM)は、その誕生以来、様々な学術分野や産業分野にまたがって大きな注目を集めてきた。 LLMはしばしば「ハロシン化問題」に悩まされるが、出力は文法的にも論理的にも一貫性があり、事実の正確性に欠ける。
論文参考訳（メタデータ） (2024-08-09T14:34:32Z)
Logic Query of Thoughts: Guiding Large Language Models to Answer Complex Logic Queries with Knowledge Graphs [102.37496443389203]
LGOT(Logic-Query-of-Thoughts)は知識グラフ推論と大規模言語モデルを組み合わせた最初の方法である。実験の結果,ChatGPTよりも20%向上した。
論文参考訳（メタデータ） (2024-03-17T17:01:45Z)
Conditional and Modal Reasoning in Large Language Models [1.999925939110439]
我々は条件やモーダルを含む推論パターンに焦点を当てる。私たちがテストしたすべてのLLMは、条件やモダルでいくつかの基本的な間違いを犯しました。最高のLCMでさえ、モーダル推論において基本的な誤りを犯す。
論文参考訳（メタデータ） (2024-01-30T16:56:54Z)
LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
論文参考訳（メタデータ） (2024-01-01T13:53:53Z)
Can ChatGPT Defend its Belief in Truth? Evaluating LLM Reasoning via Debate [19.887103433032774]
大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著なパフォーマンスを示している。この研究は、LLMの推論を議論のような会話で議論することで検証する。優れたパフォーマンスにもかかわらず、ChatGPTのようなLLMは、かなりの例において、真実に対する信念を維持できないことに気付きました。
論文参考訳（メタデータ） (2023-05-22T15:47:31Z)
Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning [101.26814728062065]
大規模言語モデル(LLM)は人間のような推論能力を示しているが、それでも複雑な論理的問題に悩まされている。本稿では,論理問題の解法を改善するために,LLMとシンボリックソルバを統合した新しいフレームワークであるLogic-LMを紹介する。
論文参考訳（メタデータ） (2023-05-20T22:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。