Fugu-MT 論文翻訳(概要): CodeSCM: Causal Analysis for Multi-Modal Code Generation

論文の概要: CodeSCM: Causal Analysis for Multi-Modal Code Generation

arxiv url: http://arxiv.org/abs/2502.05150v1
Date: Fri, 07 Feb 2025 18:26:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-10 14:56:50.576982
Title: CodeSCM: Causal Analysis for Multi-Modal Code Generation
Title（参考訳）: CodeSCM:マルチモーダルコード生成のための因果解析
Authors: Mukur Gupta, Noopur Bhatt, Suman Jana,
Abstract要約: 大規模言語モデル(LLM)を用いたマルチモーダルコード生成のための構造因果モデル(SCM)を提案する。 CodeSCMは、コード生成プロンプトのコードと自然言語のセマンティクスを分離するために、潜時メディエータ変数を導入している。自然言語の命令に加えて、入力出力例がコード生成に大きく影響していることが分かりました。
参考スコア（独自算出の注目度）: 11.118361099653404
License:
Abstract: In this paper, we propose CodeSCM, a Structural Causal Model (SCM) for analyzing multi-modal code generation using large language models (LLMs). By applying interventions to CodeSCM, we measure the causal effects of different prompt modalities, such as natural language, code, and input-output examples, on the model. CodeSCM introduces latent mediator variables to separate the code and natural language semantics of a multi-modal code generation prompt. Using the principles of Causal Mediation Analysis on these mediators we quantify direct effects representing the model's spurious leanings. We find that, in addition to natural language instructions, input-output examples significantly influence code generation.
Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)を用いたマルチモーダルコード生成のための構造因果モデル(SCM)であるCodeSCMを提案する。 CodeSCMへの介入を適用することで、モデル上の自然言語、コード、入出力例など、異なるプロンプトモーダルの因果効果を測定する。 CodeSCMは、マルチモーダルコード生成プロンプトのコードと自然言語のセマンティクスを分離するために、潜時メディエータ変数を導入している。因果メディエーション分析の原理をこれらのメディエーターに用いて、モデルの素早い傾きを表す直接的な効果を定量化する。自然言語の命令に加えて、入力出力例がコード生成に大きく影響していることが分かりました。

関連論文リスト

UniCoder: Scaling Code Large Language Model via Universal Code [40.248836046285014]
中間表現としてユニバーサルコード(UniCode)を導入する。 UniCoder-Instructは自然言語の質問、コードソリューション、および対応するユニバーサルコードから構成される。中間普遍符号表現と最終符号解とのアライメントは、生成されたコードの品質を大幅に向上させる。
論文参考訳（メタデータ） (2024-06-24T08:32:48Z)
Exploring Multi-Lingual Bias of Large Code Models in Code Generation [55.336629780101475]
コード生成は、自然言語(NL)仕様に基づいて、コードを合成し、機能要件を満たすことを目的としている。有効性にもかかわらず、我々は大規模コードモデル(LCM)の生成性能において顕著な多言語バイアスを観察する。 LCMは、英語で指示を与えると解を生成する能力を示すが、中国語などの他のNLで意味論的に等価な命令に直面すると、失敗する可能性がある。
論文参考訳（メタデータ） (2024-04-30T08:51:49Z)
Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
論文参考訳（メタデータ） (2024-04-11T08:30:46Z)
Code-Mixed Probes Show How Pre-Trained Models Generalise On Code-Switched Text [1.9185059111021852]
事前学習された言語モデルが3次元のコードスイッチトテキストをどのように扱うかを検討する。その結果,事前学習した言語モデルは,コードスイッチトテキストへの一般化に有効であることが判明した。
論文参考訳（メタデータ） (2024-03-07T19:46:03Z)
IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
論文参考訳（メタデータ） (2024-03-06T17:52:08Z)
A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文参考訳（メタデータ） (2024-02-10T11:14:53Z)
The Behavior of Large Language Models When Prompted to Generate Code Explanations [0.3293989832773954]
本稿では,Large Language Models (LLM) によるコード記述の生成を体系的に検討する。この結果から,LLMのコード説明の性質は,プロンプトの単語化などの要因の影響を受け,大きな変化がみられた。説明によると、Flesch-Kincaidの可読性は約7-8グレードである。
論文参考訳（メタデータ） (2023-11-02T17:14:38Z)
Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach [12.214585409361126]
大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
論文参考訳（メタデータ） (2023-10-10T14:56:26Z)
Toward a Theory of Causation for Interpreting Neural Code Models [49.906221295459275]
本稿では,ニューラルコードモデル(NCM)に特化したポストホック解釈法である$do_code$を紹介する。 $do_code$は、言語指向の説明を可能にする因果推論に基づいている。その結果,NCMはコード構文の変化に敏感であることが判明した。
論文参考訳（メタデータ） (2023-02-07T22:56:58Z)
Linguistic Structure Guided Context Modeling for Referring Image Segmentation [61.701577239317785]
本稿では,マルチモーダルコンテキストを相互モーダル相互作用によりモデル化する「ガザ・プロパゲート・ディストリビュート」方式を提案する。我々のLSCMモジュールは依存パーシングツリーワードグラフ(DPT-WG)を構築し、文の有効なマルチモーダルコンテキストを含むようにすべての単語を誘導する。
論文参考訳（メタデータ） (2020-10-01T16:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。