論文の概要: How to Protect Copyright Data in Optimization of Large Language Models?
- arxiv url: http://arxiv.org/abs/2308.12247v1
- Date: Wed, 23 Aug 2023 16:48:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 13:26:17.850806
- Title: How to Protect Copyright Data in Optimization of Large Language Models?
- Title(参考訳): 大規模言語モデルの最適化における著作権データ保護法
- Authors: Timothy Chu, Zhao Song, Chiwun Yang
- Abstract要約: 大規模言語モデル(LLM)と生成AIは、コンピュータ研究や応用において変革的な役割を担っている。
これらのモデルが著作権付きデータを出力するかどうかという議論が持ち上がっており、これはモデルがトレーニングされたデータが著作権付きである場合に起こりうる。
我々は,大規模言語モデルの学習と最適化をソフトマックス回帰問題と見なせることを示した。
- 参考スコア(独自算出の注目度): 8.609157988755896
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) and generative AI have played a transformative
role in computer research and applications. Controversy has arisen as to
whether these models output copyrighted data, which can occur if the data the
models are trained on is copyrighted. LLMs are built on the transformer neural
network architecture, which in turn relies on a mathematical computation called
Attention that uses the softmax function.
In this paper, we show that large language model training and optimization
can be seen as a softmax regression problem. We then establish a method of
efficiently performing softmax regression, in a way that prevents the
regression function from generating copyright data. This establishes a
theoretical method of training large language models in a way that avoids
generating copyright data.
- Abstract(参考訳): 大規模言語モデル(LLM)と生成AIは、コンピュータ研究や応用において変革的な役割を担っている。
これらのモデルが、モデルがトレーニングしたデータに著作権が付与された場合に発生する、著作権付きデータを出力するかどうかに関する論争が起こった。
llmはtransformer neural networkアーキテクチャ上に構築されており、これはsoftmax関数を使用するアテンションと呼ばれる数学的計算に依存している。
本稿では,大規模言語モデルの学習と最適化をソフトマックス回帰問題と見なすことができることを示す。
次に、回帰関数が著作権データを生成するのを防ぐ方法で、ソフトマックス回帰を効率的に行う方法を確立する。
これにより、著作権データの生成を避ける方法で大きな言語モデルをトレーニングする理論的方法が確立される。
関連論文リスト
- ZeroShape: Regression-based Zero-shot Shape Reconstruction [56.652766763775226]
単一画像ゼロショット3次元形状再構成の問題点について検討する。
最近の研究は、3Dアセットの生成的モデリングを通してゼロショット形状復元を学習している。
我々はZeroShapeが最先端の手法よりも優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-12-21T01:56:34Z) - Scalable Extraction of Training Data from (Production) Language Models [93.7746567808049]
本稿では,学習データセットの事前知識を必要とせず,機械学習モデルに問い合わせることで,相手が効率的に抽出できる学習データについて検討する。
敵は、PythiaやGPT-Neoのようなオープンソースの言語モデル、LLaMAやFalconのようなセミオープンモデル、ChatGPTのようなクローズドモデルから、ギガバイトのトレーニングデータを抽出できることを示す。
論文 参考訳(メタデータ) (2023-11-28T18:47:03Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - Scaling Relationship on Learning Mathematical Reasoning with Large
Language Models [75.29595679428105]
本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。
複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
論文 参考訳(メタデータ) (2023-08-03T15:34:01Z) - Attention Scheme Inspired Softmax Regression [20.825033982038455]
大きな言語モデル(LLM)は、人間の社会に変革をもたらした。
LLMにおける鍵計算の1つはソフトマックス単位である。
この研究はソフトマックス単位にインスピレーションを与え、ソフトマックス回帰問題を定義する。
論文 参考訳(メタデータ) (2023-04-20T15:50:35Z) - AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳(メタデータ) (2023-04-07T08:50:18Z) - An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。
以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
論文 参考訳(メタデータ) (2022-12-02T18:46:41Z) - Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文 参考訳(メタデータ) (2022-10-15T05:00:20Z) - Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。
実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
論文 参考訳(メタデータ) (2021-03-21T14:12:34Z) - Privacy-Preserving Gaussian Process Regression -- A Modular Approach to
the Application of Homomorphic Encryption [4.1499725848998965]
ホモモルフィック暗号化(FHE)は、データを暗号化しながら計算することができる。
ガウス過程回帰のような一般的な機械学習アルゴリズムは、FHEにはあまり適していない。
保護を必要とするワークフローのセンシティブなステップのみにFHEを適用するモジュラーアプローチは、あるパーティがデータに対して予測できることを示している。
論文 参考訳(メタデータ) (2020-01-28T11:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。