論文の概要: Solving Math Word Problem via Cooperative Reasoning induced Language
Models
- arxiv url: http://arxiv.org/abs/2210.16257v1
- Date: Fri, 28 Oct 2022 16:47:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 16:05:30.553826
- Title: Solving Math Word Problem via Cooperative Reasoning induced Language
Models
- Title(参考訳): 協調推論誘導言語モデルによる数学語問題の解法
- Authors: Xinyu Zhu, Junjie Wang, Lin Zhang, Yuxiang Zhang, Ruyi Gan, Jiaxing
Zhang, Yujiu Yang
- Abstract要約: 我々は、数学語問題(MWP)を解決するための協調推論によるPLMを開発する。
提案手法では,ジェネレータが推論経路の生成に責任を持ち,検証器が評価の監督に使用される。
我々は,いくつかの数学的推論データセット上でのCoReフレームワークの評価を行い,最先端の手法よりも良好な改善を実現した。
- 参考スコア(独自算出の注目度): 20.79178583914654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale pre-trained language models (PLMs) bring new opportunities to
challenge problems, especially those that need high-level intelligence, such as
the math word problem (MWPs). However, directly applying existing PLMs to MWPs
can fail as the generation process lacks sufficient supervision and thus lacks
fast adaptivity as humans. We notice that human reasoning has a dual reasoning
framework that consists of an immediate reaction system (system 1) and a
delicate reasoning system (system 2), where the entire reasoning is determined
by their interaction. This inspires us to develop a cooperative
reasoning-induced PLM for solving MWPs, called Cooperative Reasoning (CoRe),
resulting in a human-like reasoning architecture with system 1 as the generator
and system 2 as the verifier. In our approach, the generator is responsible for
generating reasoning paths, and the verifiers are used to supervise the
evaluation in order to obtain reliable feedback for the generator. We evaluate
our CoRe framework on several mathematical reasoning datasets and achieve
decent improvement over state-of-the-art methods, up to 9.8% increase over best
baselines.
- Abstract(参考訳): 大規模事前学習言語モデル(PLM)は、特に数学語問題(MWP)のような高レベルの知性を必要とする問題に挑戦する新たな機会をもたらす。
しかしながら、既存のPLMをMWPに直接適用することは、生成プロセスが十分な監督を欠いているため、人間としての高速な適応性を欠いているため失敗する可能性がある。
人間の推論には、即時反応系(システム1)と微妙な推論系(システム2)から構成される二重推論の枠組みがあることに気付く。
これにより、協調推論(Cooperative Reasoning, CoRe)と呼ばれる、MWPを解くための協調推論によるPLMを開発することとなり、システム1をジェネレータとして、システム2をバリデーションとして、人間のような推論アーキテクチャを実現する。
提案手法では, ジェネレータは推論経路の生成に責任を持ち, 検証器を用いて評価を監督し, ジェネレータに対する信頼性の高いフィードバックを得る。
我々はCoReフレームワークをいくつかの数学的推論データセット上で評価し、最先端の手法よりも優れた改善を実現した。
関連論文リスト
- Enhance Reasoning for Large Language Models in the Game Werewolf [16.519695701346155]
本稿では,Large Language Models(LLM)を外部のThinkerモジュールと統合する革新的なフレームワークを提案する。
本フレームワークは,マルチシステム推論を必要とする9人プレイヤのWerewolfゲームを用いて提案する。
実験では, 帰納的推論, 音声生成, オンラインゲーム評価におけるフレームワークの有効性を示す。
論文 参考訳(メタデータ) (2024-02-04T03:47:10Z) - From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with
Small Language Models [25.628569338856934]
私たちは、言語モデルの認知的推論能力を初めて明らかにしました。
認知科学における二重プロセス理論に基づいて、私たちは言語モデルの認知的推論能力を初めて解明する。
論文 参考訳(メタデータ) (2023-11-12T06:56:21Z) - BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs'
Generation [60.77990074569754]
本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。
具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。
次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
論文 参考訳(メタデータ) (2023-10-25T23:32:12Z) - Towards CausalGPT: A Multi-Agent Approach for Faithful Knowledge
Reasoning via Promoting Causal Consistency in LLMs [63.26541167737355]
知識に基づく推論における忠実さと因果性を高めるための枠組みを提案する。
我々のフレームワークは、最先端のアプローチを大きなマージンで比較している。
論文 参考訳(メタデータ) (2023-08-23T04:59:21Z) - Exploring Equation as a Better Intermediate Meaning Representation for
Numerical Reasoning [53.2491163874712]
我々は数値推論の問題を解くために方程式をIMRとして利用する。
本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。
本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
論文 参考訳(メタデータ) (2023-08-21T09:35:33Z) - Boosting Language Models Reasoning with Chain-of-Knowledge Prompting [14.443107383265922]
CoK(Chain-of-Knowledge)は、構造三重の形で明確な知識証拠を引き出すことを目的としている。
さらに, 推論チェーンの信頼性を推定するF2-Verification法を導入する。
広汎な実験により,本手法はコモンセンス,事実,記号,算術的推論タスクの性能をさらに向上させることができることが示された。
論文 参考訳(メタデータ) (2023-06-10T12:42:36Z) - Encouraging Divergent Thinking in Large Language Models through
Multi-Agent Debate [56.23037393834715]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z) - Multimodal Chain-of-Thought Reasoning in Language Models [80.902171201496]
大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)を利用して複雑な推論において印象的な性能を示した。
本稿では,視覚機能を分離したトレーニングフレームワークに組み込んだマルチモーダルCoTを提案する。
Multimodal-CoTでは、ScienceQAベンチマークで10億のパラメータ未満のモデルで、従来の最先端のLCM(GPT-3.5)を16%(75.17%->91.68%)上回るパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-02-02T07:51:19Z) - Faithful Reasoning Using Large Language Models [12.132449274592668]
因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。
我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。
我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-08-30T13:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。