Fugu-MT 論文翻訳(概要): On Extracting Specialized Code Abilities from Large Language Models: A Feasibility Study

論文の概要: On Extracting Specialized Code Abilities from Large Language Models: A Feasibility Study

arxiv url: http://arxiv.org/abs/2303.03012v4
Date: Tue, 31 Oct 2023 13:37:00 GMT
ステータス: 処理完了
システム内更新日: 2023-11-02 03:41:28.538397
Title: On Extracting Specialized Code Abilities from Large Language Models: A Feasibility Study
Title（参考訳）: 大規模言語モデルから特殊化符号能力の抽出について:可能性スタディ
Authors: Zongjie Li, Chaozheng Wang, Pingchuan Ma, Chaowei Liu, Shuai Wang, Daoyuan Wu, Cuiyun Gao, Yang Liu
Abstract要約: 大規模言語モデル(LLM)における模倣攻撃の実現可能性について検討する。攻撃者は、中規模のバックボーンモデルを訓練して、ターゲットのLLMに似た特殊なコード動作を再現できることを示す。
参考スコア（独自算出の注目度）: 22.265542509143756
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in large language models (LLMs) significantly boost their usage in software engineering. However, training a well-performing LLM demands a substantial workforce for data collection and annotation. Moreover, training datasets may be proprietary or partially open, and the process often requires a costly GPU cluster. The intellectual property value of commercial LLMs makes them attractive targets for imitation attacks, but creating an imitation model with comparable parameters still incurs high costs. This motivates us to explore a practical and novel direction: slicing commercial black-box LLMs using medium-sized backbone models. In this paper, we explore the feasibility of launching imitation attacks on LLMs to extract their specialized code abilities, such as"code synthesis" and "code translation." We systematically investigate the effectiveness of launching code ability extraction attacks under different code-related tasks with multiple query schemes, including zero-shot, in-context, and Chain-of-Thought. We also design response checks to refine the outputs, leading to an effective imitation training process. Our results show promising outcomes, demonstrating that with a reasonable number of queries, attackers can train a medium-sized backbone model to replicate specialized code behaviors similar to the target LLMs. We summarize our findings and insights to help researchers better understand the threats posed by imitation attacks, including revealing a practical attack surface for generating adversarial code examples against LLMs.
Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、ソフトウェア工学における彼らの使用を著しく向上させた。しかしながら、うまく機能するllmのトレーニングには、データ収集とアノテーションにかなりの労力を要する。さらに、トレーニングデータセットはプロプライエタリあるいは部分的にオープンであり、プロセスにはコストのかかるGPUクラスタが必要になることが多い。商用llmの知的財産価値は、模倣攻撃のターゲットとして魅力的なものであるが、同等のパラメータを持つ模倣モデルの作成には依然として高いコストがかかる。これにより,中型バックボーンモデルを用いた商用ブラックボックスLCMのスライシングという,実用的で斬新な方向性を探求する動機となった。本稿では,LLMに模倣攻撃を仕掛けて,コード合成やコード翻訳などの特殊なコード抽出能力を実現する可能性について検討する。我々は、ゼロショット、インコンテキスト、Chain-of-Thoughtを含む複数のクエリスキームを用いて、異なるコード関連タスク下でコード能力抽出攻撃を起動する効果を体系的に検討する。また,出力を洗練するために応答チェックも設計し,効果的な模倣訓練プロセスを実現する。この結果から,適切なクエリ数で,攻撃者が中規模のバックボーンモデルをトレーニングして,ターゲットのLDMと同じような特殊なコード動作を再現できることが示唆された。本研究は,LLMに対する逆コード例を生成するための実用的な攻撃面を明らかにすることを含む,模倣攻撃による脅威をより深く理解するための知見と知見を要約する。

関連論文リスト

OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文参考訳（メタデータ） (2024-11-07T17:47:25Z)
Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
論文参考訳（メタデータ） (2024-09-23T01:03:15Z)
Alignment-Aware Model Extraction Attacks on Large Language Models [23.79690793366511]
大規模言語モデル(LLM)に特化した新しいモデル抽出攻撃アルゴリズムであるLoRD(Locality Reinforced Distillation)を提案する。特に、被害者モデルの反応を信号として利用し、局所モデルへの嗜好の創造を誘導する政策段階的な訓練タスクを設計する。 LoRDは、探索ベースの盗難による透かし保護を緩和しながら、クエリの複雑さを低減することができる。
論文参考訳（メタデータ） (2024-09-04T13:54:38Z)
CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。そこで本研究では,学習バランスを定量的に評価する尺度を提案する。さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文参考訳（メタデータ） (2024-07-29T23:18:55Z)
A Fingerprint for Large Language Models [10.63985246068255]
大規模言語モデル(LLM)のための新しいブラックボックスフィンガープリント手法を提案する。実験結果から,提案手法はPEFT攻撃に対するオーナシップ検証とロバスト性において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-07-01T12:25:42Z)
An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
論文参考訳（メタデータ） (2024-03-30T08:42:10Z)
Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文参考訳（メタデータ） (2024-01-19T05:02:46Z)
If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練されるコードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文参考訳（メタデータ） (2024-01-01T16:51:20Z)
Transfer Attacks and Defenses for Large Language Models on Coding Tasks [30.065641782962974]
大規模言語モデル(LLM)を用いた符号化作業における対向的摂動の影響について検討する。本稿では,逆方向の摂動を逆転させるために,逆方向の摂動コードや明示的な指示の例を含むようにプロンプトを変更するプロンプトベースの防御手法を提案する。実験の結果、より小さなコードモデルで得られた逆例は確かに転送可能であり、LLMの性能は低下していることがわかった。
論文参考訳（メタデータ） (2023-11-22T15:11:35Z)
Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文参考訳（メタデータ） (2023-06-25T02:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。