Fugu-MT 論文翻訳(概要): Applying the Chinese Wall Reverse Engineering Technique to Large Language Model Code Editing

論文の概要: Applying the Chinese Wall Reverse Engineering Technique to Large Language Model Code Editing

arxiv url: http://arxiv.org/abs/2507.15599v1
Date: Mon, 21 Jul 2025 13:21:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-22 20:51:32.408581
Title: Applying the Chinese Wall Reverse Engineering Technique to Large Language Model Code Editing
Title（参考訳）: 大規模言語モデルコード編集における中国語の壁リバースエンジニアリング手法の適用
Authors: Manatsawin Hanmongkolchai,
Abstract要約: 同名のリバースエンジニアリング技術に触発された「中国壁」技術の適用を提案する。弱いが倫理的に整合したモデルは、より強力なモデルによってしか完成できない複雑なタスクを実行するために使われることがある。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models for code (Code LLM) are increasingly utilized in programming environments. Despite their utility, the training datasets for top LLM remain undisclosed, raising concerns about potential copyright violations. Some models, such as Pleias and Comma put emphasis on data curation and licenses, however, with limited training data these models are not competitive and only serve as proof of concepts. To improve the utility of these models, we propose an application of the "Chinese Wall" technique, inspired by the reverse engineering technique of the same name -- a high quality model is used to generate detailed instructions for a weaker model. By doing so, a weaker but ethically aligned model may be used to perform complicated tasks that, otherwise, can only be completed by more powerful models. In our evaluation, we've found that this technique improves Comma v0.1 1T's performance in CanItEdit benchmark by over 66%, and Starcoder2 Instruct by roughly 20% compared to when running the same model on the benchmark alone. The practical application of this technique today, however, may be limited due to the lack of models trained on public domain content without copyright restrictions.
Abstract（参考訳）: コードのための大規模言語モデル(Code LLM)は、プログラミング環境でますます活用されている。実用性にも拘わらず、トップLLMのトレーニングデータセットは未公表のままであり、著作権侵害の懸念が高まっている。 PleiasやCommaといったいくつかのモデルは、データキュレーションとライセンスに重点を置いているが、限られた訓練データではこれらのモデルは競争力がなく、概念の証明としてしか機能しない。これらのモデルの実用性を改善するため,同名のリバースエンジニアリング技術にインスパイアされた「チャイニーズウォール」手法を提案する。そうすることで、より弱いが倫理的に整合したモデルを使用して複雑なタスクを実行することができ、そうでなければ、より強力なモデルによってしか完成できない。評価の結果,CanItEditベンチマークではComma v0.1 1Tのパフォーマンスが66%向上し,Starcoder2ではベンチマーク単独で同じモデルを実行する場合に比べて約20%向上していることがわかった。しかし、今日のこの手法の実践的応用は、著作権の制限なしにパブリックドメインコンテンツ上で訓練されたモデルが欠如しているため、制限される可能性がある。

関連論文リスト

Matryoshka Model Learning for Improved Elastic Student Models [62.154536258259384]
MatTAは、新しいTeacher-TA-Studentレシピを使用して、複数の正確な学生モデルをトレーニングするためのフレームワークである。本手法はパブリックモデルであるGPT-2 Medium上で実証し,SAT Mathで24%,LAMBADAベンチマークで10%以上の相対的な改善を実現した。
論文参考訳（メタデータ） (2025-05-29T10:54:58Z)
DistilQwen2.5: Industrial Practices of Training Distilled Open Lightweight Language Models [10.34623505096336]
一般向けQwen2.5モデルから派生した蒸留軽量言語モデル(LLM)のファミリーであるDistilQwen2.5を紹介する。これらのモデルは、オリジナルのモデルと比較して、強化された命令追従能力を示す。実用的な使用を容易にするため、DistilQwen2.5のモデルをオープンソースコミュニティにリリースしました。
論文参考訳（メタデータ） (2025-04-21T11:26:02Z)
Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
論文参考訳（メタデータ） (2025-04-10T04:09:47Z)
Jasper and Stella: distillation of SOTA embedding models [8.708650717134008]
そこで本研究では,より小規模な学生埋め込みモデルにより,複数の教師埋め込みモデルを蒸留できる新しい多段階蒸留フレームワークを提案する。我々は,Matryoshka Representation Learning(MRL)を用いて,学生埋め込みモデルのベクトル次元を効果的に削減する。私たちの学生モデルは、Stella埋め込みモデルに基づく20億のパラメータを持つJasperという名前で、Massive Text Embedding Benchmarkのリーダーボードで3位を獲得しました。
論文参考訳（メタデータ） (2024-12-26T04:05:28Z)
Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging [25.327483618051378]
モデル統合シナリオにおけるIP保護手法の堅牢性に関する最初の研究を行う。実験結果から,現在のLarge Language Model (LLM) の透かし技術は統合されたモデルでは生き残れないことが示唆された。本研究の目的は,モデルIP保護手法の堅牢性評価において,モデルマージが不可欠であることを示すことである。
論文参考訳（メタデータ） (2024-04-08T04:30:33Z)
Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文参考訳（メタデータ） (2023-10-05T09:09:44Z)
Who's Harry Potter? Approximate Unlearning in LLMs [4.821438899378393]
大きな言語モデル(LLM)は、しばしば著作権のあるコンテンツを含む巨大なインターネットコーパスで訓練されている。これは、これらのモデルの開発者やユーザ、およびオリジナルの著者や出版者にとって、法的および倫理的な課題を引き起こす。本稿では,LLMからトレーニングデータのサブセットをスクラッチから再学習する必要がない新しい手法を提案する。
論文参考訳（メタデータ） (2023-10-03T17:48:14Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
Matching Pairs: Attributing Fine-Tuned Models to their Pre-Trained Large Language Models [11.57282859281814]
異なる知識レベルと属性戦略を考慮し、最良の方法で10の微調整されたモデルのうち8つを正確に追跡できることに気付きます。
論文参考訳（メタデータ） (2023-06-15T17:42:48Z)
What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization? [50.84738303888189]
本稿では,モデル選択の大規模評価とそのゼロショット一般化への影響について述べる。私たちは、70億以上のトークンに対して、50億以上のパラメータを持つモデルをトレーニングします。事前学習した因果デコーダモデルを非因果デコーダモデルに効率的に適用できることが判明した。
論文参考訳（メタデータ） (2022-04-12T14:19:49Z)
Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese [33.83704598544326]
Mengziは、差別的、生成的、ドメイン固有、およびマルチモーダル事前訓練されたモデルの亜種である。中国の公共のPLMと比較すると、メンジは単純だがより強力である。我々の軽量モデルは、広く使われているCLUEベンチマークにおいて、最先端の新たな結果を得た。
論文参考訳（メタデータ） (2021-10-13T13:14:32Z)
Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。