論文の概要: MoTCoder: Elevating Large Language Models with Modular of Thought for
Challenging Programming Tasks
- arxiv url: http://arxiv.org/abs/2312.15960v2
- Date: Fri, 5 Jan 2024 10:33:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 17:27:47.605238
- Title: MoTCoder: Elevating Large Language Models with Modular of Thought for
Challenging Programming Tasks
- Title（参考訳）: MoTCoder: プログラミングタスクの混在を考慮に入れた大規模言語モデル
- Authors: Jingyao Li, Pengguang Chen, Jiaya Jia
- Abstract要約: 本稿では,タスクの論理的サブタスクとサブモジュールへの分解を促進するため,MoT命令チューニングの先駆的フレームワークを提案する。
調査の結果,MoTCoderはサブモジュールの栽培と利用を通じて,生成したソリューションのモジュラリティと正しさの両方を著しく向上させることがわかった。
- 参考スコア（独自算出の注目度）: 60.54009036297301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have showcased impressive capabilities in
handling straightforward programming tasks. However, their performance tends to
falter when confronted with more challenging programming problems. We observe
that conventional models often generate solutions as monolithic code blocks,
restricting their effectiveness in tackling intricate questions. To overcome
this limitation, we present Modular-of-Thought Coder (MoTCoder). We introduce a
pioneering framework for MoT instruction tuning, designed to promote the
decomposition of tasks into logical sub-tasks and sub-modules. Our
investigations reveal that, through the cultivation and utilization of
sub-modules, MoTCoder significantly improves both the modularity and
correctness of the generated solutions, leading to substantial relative pass@1
improvements of 12.9% on APPS and 9.43% on CodeContests. Our codes are
available at https://github.com/dvlab-research/MoTCoder.
- Abstract（参考訳）: 大規模言語モデル(llm)は、簡単なプログラミングタスクを扱う素晴らしい能力を示している。
しかし、より困難なプログラミング問題に直面した場合、パフォーマンスは悪化する傾向にある。
従来のモデルはモノリシックなコードブロックとしてソリューションを生成することが多く、複雑な問題に取り組む上での有効性を制限している。
この制限を克服するため、Modular-of-Thought Coder (MoTCoder)を提案する。
本稿では,タスクの論理的サブタスクとサブモジュールへの分解を促進するため,MoT命令チューニングの先駆的フレームワークを提案する。
我々の調査によると、サブモジュールの栽培と利用を通じて、MoTCoderは生成したソリューションのモジュラリティと正しさの両方を著しく改善し、APPSでは12.9%、CodeContestsでは9.43%の大幅な相対パス@1の改善を実現した。
私たちのコードはhttps://github.com/dvlab-research/motcoderで利用可能です。
関連論文リスト
- Revisiting the Impact of Pursuing Modularity for Code Generation [4.177310099979434]
コード生成におけるモジュラリティの影響を,その定量的測定のための新しい測定基準を導入することによって評価する。
驚くべきことに、このトピックに関する従来の知恵とは異なり、モジュラリティはコード生成モデルのパフォーマンスを改善するための中核的な要素ではない。
論文 参考訳（メタデータ） (2024-07-16T05:48:24Z) - Performance-Aligned LLMs for Generating Fast Code [2.180216161965907]
コードLLMの出力と性能を一致させる強化学習に基づく手法を提案する。
我々は,一連のベンチマークタスクのベースモデル上でのコード生成の高速化を,微調整モデルにより改善できることを実証した。
論文 参考訳（メタデータ） (2024-04-29T16:52:38Z) - Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。
また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
論文 参考訳（メタデータ） (2024-03-27T17:50:00Z) - Enhancing Code Generation Performance of Smaller Models by Distilling the Reasoning Ability of LLMs [36.409470894115074]
我々は、LLMのコード生成推論機能をより小さなモデルに転送することを目的としたCodePLANフレームワークを提案する。
提案手法は,APPSベンチマークにおいて,より小さなモデルのコード生成性能を130%以上向上させる。
論文 参考訳（メタデータ） (2024-03-20T03:09:54Z) - GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and
reusing ModulEs [64.49176353858792]
本稿では,モジュールの増殖・再利用による生成的ニューロシンボリック視覚推論を提案する。
提案モデルは,視覚的質問応答や表現理解の参照など,標準的なタスクに対して競合的に機能する。
いくつかのトレーニング例を観察し、モジュールを再使用することで、新しい視覚的推論タスクに適応することができる。
論文 参考訳（メタデータ） (2023-11-08T18:59:05Z) - CodeChain: Towards Modular Code Generation Through Chain of Self-revisions with Representative Sub-modules [51.82044734879657]
我々は,自己修正の連鎖を通じてモジュール化されたコード生成を誘発する,新しい推論フレームワークであるCodeChainを提案する。
CodeChainは、生成したソリューションのモジュール性と正確性の両方を大幅に向上させ、APPSで35%、CodeContestsで76%の相対パス@1の改善を実現しています。
論文 参考訳（メタデータ） (2023-10-13T10:17:48Z) - ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。
以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:57Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳（メタデータ） (2023-02-22T18:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。