論文の概要: How to Protect Copyright Data in Optimization of Large Language Models?
- arxiv url: http://arxiv.org/abs/2308.12247v1
- Date: Wed, 23 Aug 2023 16:48:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 13:26:17.850806
- Title: How to Protect Copyright Data in Optimization of Large Language Models?
- Title（参考訳）: 大規模言語モデルの最適化における著作権データ保護法
- Authors: Timothy Chu, Zhao Song, Chiwun Yang
- Abstract要約: 大規模言語モデル(LLM)と生成AIは、コンピュータ研究や応用において変革的な役割を担っている。
これらのモデルが著作権付きデータを出力するかどうかという議論が持ち上がっており、これはモデルがトレーニングされたデータが著作権付きである場合に起こりうる。
我々は,大規模言語モデルの学習と最適化をソフトマックス回帰問題と見なせることを示した。
- 参考スコア（独自算出の注目度）: 8.609157988755896
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) and generative AI have played a transformative
role in computer research and applications. Controversy has arisen as to
whether these models output copyrighted data, which can occur if the data the
models are trained on is copyrighted. LLMs are built on the transformer neural
network architecture, which in turn relies on a mathematical computation called
Attention that uses the softmax function.
In this paper, we show that large language model training and optimization
can be seen as a softmax regression problem. We then establish a method of
efficiently performing softmax regression, in a way that prevents the
regression function from generating copyright data. This establishes a
theoretical method of training large language models in a way that avoids
generating copyright data.
- Abstract（参考訳）: 大規模言語モデル(LLM)と生成AIは、コンピュータ研究や応用において変革的な役割を担っている。
これらのモデルが、モデルがトレーニングしたデータに著作権が付与された場合に発生する、著作権付きデータを出力するかどうかに関する論争が起こった。
llmはtransformer neural networkアーキテクチャ上に構築されており、これはsoftmax関数を使用するアテンションと呼ばれる数学的計算に依存している。
本稿では,大規模言語モデルの学習と最適化をソフトマックス回帰問題と見なすことができることを示す。
次に、回帰関数が著作権データを生成するのを防ぐ方法で、ソフトマックス回帰を効率的に行う方法を確立する。
これにより、著作権データの生成を避ける方法で大きな言語モデルをトレーニングする理論的方法が確立される。
関連論文リスト
- Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。
本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文 参考訳（メタデータ） (2024-10-22T06:43:28Z) - Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
大規模言語モデル(LLM)の事前トレーニングは伝統的に、Webスケールデータセットからランダムにサンプリングされたデータブロックの自己回帰言語モデリングに依存している。
我々は、空間的反復のような人間の学習技術からインスピレーションを得て、LLMのランダムなデータサンプリングが、データを忘れがちな高いトレーニングコストと低品質モデルをもたらすという仮説を立てる。
ウェブスケール情報を長期記憶に効果的にコミットするために,LFR(Learn, Focus, and Review)ペタゴギーを提案する。
論文 参考訳（メタデータ） (2024-09-10T00:59:18Z) - SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Linearizing Large Language Models [26.94551511277412]
本稿では,既存の大規模事前学習型トランスフォーマーを,控えめな計算予算でリカレントニューラルネットワーク(RNN)にアップトレーニングする方法を提案する。
線形化手法は標準ベンチマーク上での競合性能につながるが,最大線形モデルにおいても,永続的な文脈内学習と長期コンテキストモデリングの欠点を同定する。
論文 参考訳（メタデータ） (2024-05-10T17:59:08Z) - Scalable Extraction of Training Data from (Production) Language Models [93.7746567808049]
本稿では,学習データセットの事前知識を必要とせず,機械学習モデルに問い合わせることで,相手が効率的に抽出できる学習データについて検討する。
敵は、PythiaやGPT-Neoのようなオープンソースの言語モデル、LLaMAやFalconのようなセミオープンモデル、ChatGPTのようなクローズドモデルから、ギガバイトのトレーニングデータを抽出できることを示す。
論文 参考訳（メタデータ） (2023-11-28T18:47:03Z) - Attention Scheme Inspired Softmax Regression [20.825033982038455]
大きな言語モデル(LLM)は、人間の社会に変革をもたらした。
LLMにおける鍵計算の1つはソフトマックス単位である。
この研究はソフトマックス単位にインスピレーションを与え、ソフトマックス回帰問題を定義する。
論文 参考訳（メタデータ） (2023-04-20T15:50:35Z) - AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳（メタデータ） (2023-04-07T08:50:18Z) - Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文 参考訳（メタデータ） (2022-10-15T05:00:20Z) - Privacy-Preserving Gaussian Process Regression -- A Modular Approach to
the Application of Homomorphic Encryption [4.1499725848998965]
ホモモルフィック暗号化(FHE)は、データを暗号化しながら計算することができる。
ガウス過程回帰のような一般的な機械学習アルゴリズムは、FHEにはあまり適していない。
保護を必要とするワークフローのセンシティブなステップのみにFHEを適用するモジュラーアプローチは、あるパーティがデータに対して予測できることを示している。
論文 参考訳（メタデータ） (2020-01-28T11:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。