論文の概要: On Extracting Specialized Code Abilities from Large Language Models: A
Feasibility Study
- arxiv url: http://arxiv.org/abs/2303.03012v4
- Date: Tue, 31 Oct 2023 13:37:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 03:41:28.538397
- Title: On Extracting Specialized Code Abilities from Large Language Models: A
Feasibility Study
- Title(参考訳): 大規模言語モデルから特殊化符号能力の抽出について:可能性スタディ
- Authors: Zongjie Li, Chaozheng Wang, Pingchuan Ma, Chaowei Liu, Shuai Wang,
Daoyuan Wu, Cuiyun Gao, Yang Liu
- Abstract要約: 大規模言語モデル(LLM)における模倣攻撃の実現可能性について検討する。
攻撃者は、中規模のバックボーンモデルを訓練して、ターゲットのLLMに似た特殊なコード動作を再現できることを示す。
- 参考スコア(独自算出の注目度): 22.265542509143756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in large language models (LLMs) significantly boost their
usage in software engineering. However, training a well-performing LLM demands
a substantial workforce for data collection and annotation. Moreover, training
datasets may be proprietary or partially open, and the process often requires a
costly GPU cluster. The intellectual property value of commercial LLMs makes
them attractive targets for imitation attacks, but creating an imitation model
with comparable parameters still incurs high costs. This motivates us to
explore a practical and novel direction: slicing commercial black-box LLMs
using medium-sized backbone models. In this paper, we explore the feasibility
of launching imitation attacks on LLMs to extract their specialized code
abilities, such as"code synthesis" and "code translation." We systematically
investigate the effectiveness of launching code ability extraction attacks
under different code-related tasks with multiple query schemes, including
zero-shot, in-context, and Chain-of-Thought. We also design response checks to
refine the outputs, leading to an effective imitation training process. Our
results show promising outcomes, demonstrating that with a reasonable number of
queries, attackers can train a medium-sized backbone model to replicate
specialized code behaviors similar to the target LLMs. We summarize our
findings and insights to help researchers better understand the threats posed
by imitation attacks, including revealing a practical attack surface for
generating adversarial code examples against LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、ソフトウェア工学における彼らの使用を著しく向上させた。
しかしながら、うまく機能するllmのトレーニングには、データ収集とアノテーションにかなりの労力を要する。
さらに、トレーニングデータセットはプロプライエタリあるいは部分的にオープンであり、プロセスにはコストのかかるGPUクラスタが必要になることが多い。
商用llmの知的財産価値は、模倣攻撃のターゲットとして魅力的なものであるが、同等のパラメータを持つ模倣モデルの作成には依然として高いコストがかかる。
これにより,中型バックボーンモデルを用いた商用ブラックボックスLCMのスライシングという,実用的で斬新な方向性を探求する動機となった。
本稿では,LLMに模倣攻撃を仕掛けて,コード合成やコード翻訳などの特殊なコード抽出能力を実現する可能性について検討する。
我々は、ゼロショット、インコンテキスト、Chain-of-Thoughtを含む複数のクエリスキームを用いて、異なるコード関連タスク下でコード能力抽出攻撃を起動する効果を体系的に検討する。
また,出力を洗練するために応答チェックも設計し,効果的な模倣訓練プロセスを実現する。
この結果から,適切なクエリ数で,攻撃者が中規模のバックボーンモデルをトレーニングして,ターゲットのLDMと同じような特殊なコード動作を再現できることが示唆された。
本研究は,LLMに対する逆コード例を生成するための実用的な攻撃面を明らかにすることを含む,模倣攻撃による脅威をより深く理解するための知見と知見を要約する。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [63.67157940979682]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳(メタデータ) (2024-03-05T19:32:01Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Breaking the Silence: the Threats of Using LLMs in Software Engineering [12.368546216271382]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)コミュニティ内で大きな注目を集めています。
本稿では,LSMに基づく研究の有効性に対する潜在的な脅威について,オープンな議論を開始する。
論文 参考訳(メタデータ) (2023-12-13T11:02:19Z) - Transfer Attacks and Defenses for Large Language Models on Coding Tasks [30.065641782962974]
大規模言語モデル(LLM)を用いた符号化作業における対向的摂動の影響について検討する。
本稿では,逆方向の摂動を逆転させるために,逆方向の摂動コードや明示的な指示の例を含むようにプロンプトを変更するプロンプトベースの防御手法を提案する。
実験の結果、より小さなコードモデルで得られた逆例は確かに転送可能であり、LLMの性能は低下していることがわかった。
論文 参考訳(メタデータ) (2023-11-22T15:11:35Z) - LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。
我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。
LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
論文 参考訳(メタデータ) (2023-10-30T14:54:15Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳(メタデータ) (2023-06-25T02:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。