論文の概要: Causal Language Modeling Can Elicit Search and Reasoning Capabilities on Logic Puzzles
- arxiv url: http://arxiv.org/abs/2409.10502v1
- Date: Mon, 16 Sep 2024 17:42:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 14:38:40.452676
- Title: Causal Language Modeling Can Elicit Search and Reasoning Capabilities on Logic Puzzles
- Title（参考訳）: 因果的言語モデリングは論理パズルにおける探索と推論の能力を排除できる
- Authors: Kulin Shah, Nishanth Dikkala, Xin Wang, Rina Panigrahy,
- Abstract要約: 本研究では,因果言語モデリングが,数独パズルの解法などの複雑な課題を学習できるかどうかを考察する。
この合成タスクで訓練されたトランスフォーマーモデルが実際にスドクスの解法を学習できることが示される。
また、分析結果をZebraパズル(アインシュタインパズルとして知られる)に拡張し、モデルが92.04 %のパズルを完全に正しく解いていることを示す。
- 参考スコア（独自算出の注目度）: 14.777731830394357
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Causal language modeling using the Transformer architecture has yielded remarkable capabilities in Large Language Models (LLMs) over the last few years. However, the extent to which fundamental search and reasoning capabilities emerged within LLMs remains a topic of ongoing debate. In this work, we study if causal language modeling can learn a complex task such as solving Sudoku puzzles. To solve a Sudoku, the model is first required to search over all empty cells of the puzzle to decide on a cell to fill and then apply an appropriate strategy to fill the decided cell. Sometimes, the application of a strategy only results in thinning down the possible values in a cell rather than concluding the exact value of the cell. In such cases, multiple strategies are applied one after the other to fill a single cell. We observe that Transformer models trained on this synthetic task can indeed learn to solve Sudokus (our model solves $94.21\%$ of the puzzles fully correctly) when trained on a logical sequence of steps taken by a solver. We find that training Transformers with the logical sequence of steps is necessary and without such training, they fail to learn Sudoku. We also extend our analysis to Zebra puzzles (known as Einstein puzzles) and show that the model solves $92.04 \%$ of the puzzles fully correctly. In addition, we study the internal representations of the trained Transformer and find that through linear probing, we can decode information about the set of possible values in any given cell from them, pointing to the presence of a strong reasoning engine implicit in the Transformer weights.
- Abstract（参考訳）: Transformerアーキテクチャを使った因果言語モデリングは、ここ数年でLLM(Large Language Models)において顕著な機能を実現している。
しかし、LLMにおける基本的な探索と推論能力の出現の程度は、現在進行中の議論のトピックである。
本研究では,因果的言語モデリングが,数独パズルの解法などの複雑な課題を学習できるかどうかを考察する。
スドクを解くためには、まずパズルの空の全てのセルを探索し、そのセルを埋めるかどうかを判断し、決定されたセルを埋める適切な戦略を適用する必要がある。
戦略の適用は、セルの正確な値を結論付けるのではなく、セル内の可能な値を縮小させるだけである。
このような場合、複数の戦略が次々と適用され、単一のセルを埋める。
この合成タスクでトレーニングされたトランスフォーマーモデルでは,解答器が行うステップの論理列に基づいて学習すると,実際にスドクスを解くことができる(解答器の解答率は94.21.%)。
ステップの論理的な順序でトランスフォーマーを訓練することは必要であり、そのような訓練がなければ、スドクを学ばない。
また、分析結果をZebraパズル(アインシュタインパズルとして知られる)に拡張し、モデルが92.04 \%のパズルを完全に正しく解いていることを示す。
さらに, トレーニングされたトランスフォーマーの内部表現を調査し, 線形探索により, 任意のセルの可能な値の集合に関する情報をデコードし, トランスフォーマーの重みに暗黙的な強い推論エンジンが存在することを示す。
関連論文リスト
- On Memorization of Large Language Models in Logical Reasoning [70.94164038947078]
大きな言語モデル(LLM)は、挑戦的な推論ベンチマークで優れたパフォーマンスを達成するが、基本的な推論ミスを発生させることもできる。
1つの仮説は、より高度でほぼ飽和した性能は、類似した問題の記憶が原因ではないかというものである。
微調整は暗記を重くするが,常に一般化性能を向上することを示す。
論文 参考訳（メタデータ） (2024-10-30T15:31:54Z) - Solving Zebra Puzzles Using Constraint-Guided Multi-Agent Systems [25.0042181817455]
本稿では,大言語モデルとオフ・ザ・シェルフ定理証明器を統合したマルチエージェントシステムZPSを紹介する。
このシステムは、問題をより小さく管理可能な部分に分割することで、複雑なパズル解決作業に取り組む。
また,問題解の正当性を評価するための自動グリッドパズルグレーダを導入し,ユーザスタディで評価することで,自動グレーダが信頼性が高いことを示す。
論文 参考訳（メタデータ） (2024-07-04T14:22:25Z) - Are Language Models Puzzle Prodigies? Algorithmic Puzzles Unveil Serious
Challenges in Multimodal Reasoning [24.386388107656334]
本稿では,視覚的質問応答の文脈内での多モーダルパズル解決の新たな課題を紹介する。
本稿では,アルゴリズムパズルの解法におけるマルチモーダル言語モデルの能力に挑戦し,評価するための新しいデータセットAlgoVQAを提案する。
論文 参考訳（メタデータ） (2024-03-06T17:15:04Z) - Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。
その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
論文 参考訳（メタデータ） (2024-02-08T16:23:29Z) - Understanding Addition in Transformers [2.07180164747172]
本稿では,n桁整数加算を行うために訓練された1層トランスフォーマーモデルの包括的解析を行う。
提案手法は,各桁を対象とする並列ストリームに分割し,各桁の異なる位置に合わせて最適化されたアルゴリズムを用いることを示唆している。
論文 参考訳（メタデータ） (2023-10-19T19:34:42Z) - Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。
これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。
実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
論文 参考訳（メタデータ） (2023-05-29T23:24:14Z) - Are Deep Neural Networks SMARTer than Second Graders? [85.60342335636341]
6～8歳児を対象としたビジュオ言語パズルの解法において,ニューラルネットワークの抽象化,推論,一般化能力の評価を行った。
我々のデータセットは101のユニークなパズルで構成されており、各パズルは絵の質問で構成されており、それらの解には算術、代数学、空間推論を含むいくつかの基本的なスキルが混在している必要がある。
実験により、強力なディープモデルは教師付き設定でパズルに合理的な性能を与えるが、一般化のために解析するとランダムな精度よりは良くないことが明らかになった。
論文 参考訳（メタデータ） (2022-12-20T04:33:32Z) - Transformers Learn Shortcuts to Automata [52.015990420075944]
低深度変換器は任意の有限状態オートマトンを計算できる。
我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。
さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
論文 参考訳（メタデータ） (2022-10-19T17:45:48Z) - GANzzle: Reframing jigsaw puzzle solving as a retrieval task using a
generative mental image [15.132848477903314]
すべての部品からメンタルなイメージを推測し、その部品を爆発を避けるためにマッチさせることができる。
本研究では,未整列片の集合が与えられた画像の再構成方法を学び,各部品の符号化を発電機の収穫層に整合させる共同埋め込み空間を学習する。
このような場合、我々のモデルはパズルのサイズに依存しないが、従来の1つの大きさの深層学習法とは対照的である。
論文 参考訳（メタデータ） (2022-07-12T16:02:00Z) - PuzzLing Machines: A Challenge on Learning From Small Data [64.513459448362]
我々は,高校生を対象としたLinguistic OlympiadsのRosetta StoneパズルからなるPuzzLing Machinesという,小さなデータから学ぶための課題を紹介した。
私たちのチャレンジには、81言語から幅広い言語現象をカバーする約100のパズルが含まれています。
単純な統計アルゴリズムと最先端のディープニューラルモデルの両方が、予想通り、この課題に対して不十分に実行可能であることを示す。
論文 参考訳（メタデータ） (2020-04-27T20:34:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。