論文の概要: MoTCoder: Elevating Large Language Models with Modular of Thought for
Challenging Programming Tasks
- arxiv url: http://arxiv.org/abs/2312.15960v1
- Date: Tue, 26 Dec 2023 08:49:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:33:07.443374
- Title: MoTCoder: Elevating Large Language Models with Modular of Thought for
Challenging Programming Tasks
- Title(参考訳): MoTCoder: プログラミングタスクの混在を考慮に入れた大規模言語モデル
- Authors: Jingyao Li, Pengguang Chen, Jiaya Jia
- Abstract要約: 本稿では,タスクの論理的サブタスクとサブモジュールへの分解を促進するため,MoT命令チューニングの先駆的フレームワークを提案する。
調査の結果,MoTCoderはサブモジュールの栽培と利用を通じて,生成したソリューションのモジュラリティと正しさの両方を著しく向上させることがわかった。
- 参考スコア(独自算出の注目度): 60.54009036297301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have showcased impressive capabilities in
handling straightforward programming tasks. However, their performance tends to
falter when confronted with more challenging programming problems. We observe
that conventional models often generate solutions as monolithic code blocks,
restricting their effectiveness in tackling intricate questions. To overcome
this limitation, we present Modular-of-Thought Coder (MoTCoder). We introduce a
pioneering framework for MoT instruction tuning, designed to promote the
decomposition of tasks into logical sub-tasks and sub-modules. Our
investigations reveal that, through the cultivation and utilization of
sub-modules, MoTCoder significantly improves both the modularity and
correctness of the generated solutions, leading to substantial relative pass@1
improvements of 12.9% on APPS and 9.43% on CodeContests. Our codes are
available at https://github.com/dvlab-research/MoTCoder.
- Abstract(参考訳): 大規模言語モデル(llm)は、簡単なプログラミングタスクを扱う素晴らしい能力を示している。
しかし、より困難なプログラミング問題に直面した場合、パフォーマンスは悪化する傾向にある。
従来のモデルはモノリシックなコードブロックとしてソリューションを生成することが多く、複雑な問題に取り組む上での有効性を制限している。
この制限を克服するため、Modular-of-Thought Coder (MoTCoder)を提案する。
本稿では,タスクの論理的サブタスクとサブモジュールへの分解を促進するため,MoT命令チューニングの先駆的フレームワークを提案する。
我々の調査によると、サブモジュールの栽培と利用を通じて、MoTCoderは生成したソリューションのモジュラリティと正しさの両方を著しく改善し、APPSでは12.9%、CodeContestsでは9.43%の大幅な相対パス@1の改善を実現した。
私たちのコードはhttps://github.com/dvlab-research/motcoderで利用可能です。
関連論文リスト
- GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and
reusing ModulEs [64.49176353858792]
本稿では,モジュールの増殖・再利用による生成的ニューロシンボリック視覚推論を提案する。
提案モデルは,視覚的質問応答や表現理解の参照など,標準的なタスクに対して競合的に機能する。
いくつかのトレーニング例を観察し、モジュールを再使用することで、新しい視覚的推論タスクに適応することができる。
論文 参考訳(メタデータ) (2023-11-08T18:59:05Z) - CodeChain: Towards Modular Code Generation Through Chain of Self-revisions with Representative Sub-modules [51.82044734879657]
我々は,自己修正の連鎖を通じてモジュール化されたコード生成を誘発する,新しい推論フレームワークであるCodeChainを提案する。
CodeChainは、生成したソリューションのモジュール性と正確性の両方を大幅に向上させ、APPSで35%、CodeContestsで76%の相対パス@1の改善を実現しています。
論文 参考訳(メタデータ) (2023-10-13T10:17:48Z) - ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。
以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:57Z) - Large Language Model Guided Tree-of-Thought [0.0]
自動回帰型大規模言語モデル(LLM)の問題解決能力向上を目的とした新しいアプローチであるTree-of-Thought(ToT)フレームワークを導入する。
ToTテクニックは、試行錯誤によって複雑な推論タスクを解決するための人間の心のアプローチにインスパイアされている。
実験結果から,ToTフレームワークはスドクパズル解法の成功率を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-05-15T01:18:23Z) - Faithful Question Answering with Monte-Carlo Planning [78.02429369951363]
本稿では,FAME(Fithful Questioning with Monte-carlo planning)を提案する。
我々は,タスクを離散的な意思決定問題として定式化し,推論環境とコントローラの相互作用によって解決する。
FAMEは標準ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-05-04T05:21:36Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。