論文の概要: Information Flow Control in Machine Learning through Modular Model
Architecture
- arxiv url: http://arxiv.org/abs/2306.03235v1
- Date: Mon, 5 Jun 2023 20:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 18:31:42.830066
- Title: Information Flow Control in Machine Learning through Modular Model
Architecture
- Title(参考訳): モジュールモデルアーキテクチャによる機械学習における情報フロー制御
- Authors: Trishita Tiwari, Suchin Gururangan, Chuan Guo, Weizhe Hua, Sanjay
Kariyappa, Udit Gupta, Wenjie Xiong, Kiwan Maeng, Hsien-Hsin S. Lee, G.
Edward Suh
- Abstract要約: 今日の機械学習(ML)モデルでは、トレーニングデータの任意の部分が出力に影響を与える可能性がある。
トレーニングデータからモデル出力への情報フローの制御の欠如は、センシティブなデータに対するトレーニングモデルの大きな障害である。
本稿では、機械学習のための情報フロー制御の概念を提案し、セキュアなトランスフォーマーベース言語モデルを開発する。
- 参考スコア(独自算出の注目度): 21.421720217998445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In today's machine learning (ML) models, any part of the training data can
affect its output. This lack of control for information flow from training data
to model output is a major obstacle in training models on sensitive data when
access control only allows individual users to access a subset of data. To
enable secure machine learning for access controlled data, we propose the
notion of information flow control for machine learning, and develop a secure
Transformer-based language model based on the Mixture-of-Experts (MoE)
architecture. The secure MoE architecture controls information flow by limiting
the influence of training data from each security domain to a single expert
module, and only enabling a subset of experts at inference time based on an
access control policy. The evaluation using a large corpus of text data shows
that the proposed MoE architecture has minimal (1.9%) performance overhead and
can significantly improve model accuracy (up to 37%) by enabling training on
access-controlled data.
- Abstract(参考訳): 今日の機械学習(ML)モデルでは、トレーニングデータの任意の部分が出力に影響を与える可能性がある。
トレーニングデータからモデル出力への情報フローの制御の欠如は、個々のユーザがデータのサブセットにしかアクセスできない場合にのみ、センシティブなデータに対するトレーニングモデルの大きな障害となる。
アクセス制御データに対するセキュアな機械学習を実現するため,機械学習のための情報フロー制御の概念を提案し,Mixture-of-Experts (MoE)アーキテクチャに基づくセキュアなトランスフォーマーベース言語モデルを開発する。
セキュアmoeアーキテクチャは、各セキュリティドメインから単一のエキスパートモジュールへのトレーニングデータの影響を制限し、アクセス制御ポリシーに基づいて推論時に専門家のサブセットのみを許可することにより、情報フローを制御する。
大量のテキストデータを用いた評価では、提案したMoEアーキテクチャは性能オーバーヘッドが最小 (1.9%) であり、アクセス制御されたデータのトレーニングを可能にすることにより、モデル精度(最大37%)を著しく向上させることができる。
関連論文リスト
- Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-23T08:18:22Z) - Rethinking Privacy in Machine Learning Pipelines from an Information
Flow Control Perspective [16.487545258246932]
現代の機械学習システムは、成長を続けるコーパスで訓練されたモデルを使用する。
オーナシップ、アクセス制御、ライセンス情報などのメタデータは、トレーニング中に無視される。
情報フロー制御の観点から機械学習システムを記述する。
論文 参考訳(メタデータ) (2023-11-27T13:14:39Z) - Privacy Side Channels in Machine Learning Systems [82.85919161427604]
プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。
機械学習ライフサイクル全体にわたるサイドチャネルの4つのカテゴリを提案する。
我々の結果は、全体的なエンドツーエンドのプライバシー分析の必要性を示しています。
論文 参考訳(メタデータ) (2023-09-11T16:49:05Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Data Models for Dataset Drift Controls in Machine Learning With Optical
Images [8.818468649062932]
主な障害モードは、トレーニングデータとデプロイメントデータの違いによるパフォーマンス低下である。
既存のアプローチでは、関心の対象であるデータ(データ)の明示的なモデルは説明できない。
本研究では、画像データに対してそのようなデータモデルを構築する方法を示し、データセットのドリフトに関連する下流機械学習モデルの性能を制御する。
論文 参考訳(メタデータ) (2022-11-04T16:50:10Z) - Applied Federated Learning: Architectural Design for Robust and
Efficient Learning in Privacy Aware Settings [0.8454446648908585]
古典的な機械学習パラダイムは、中央にユーザーデータの集約を必要とする。
データの集中化は、内部および外部のセキュリティインシデントのリスクを高めることを含むリスクを引き起こす。
差分プライバシーによるフェデレーション学習は、サーバ側の集中化落とし穴を避けるように設計されている。
論文 参考訳(メタデータ) (2022-06-02T00:30:04Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳(メタデータ) (2021-06-14T11:42:46Z) - Knodle: Modular Weakly Supervised Learning with PyTorch [5.874587993411972]
Knodleは、弱いデータアノテーション、強力なディープラーニングモデル、弱い教師付きトレーニングを改善する方法を分離するためのソフトウェアフレームワークです。
このモジュール化により、トレーニングプロセスはデータセットの特性、ルールの一致、あるいは最終的に予測に使用されるディープラーニングモデルの要素などのきめ細かい情報にアクセスできるようになる。
論文 参考訳(メタデータ) (2021-04-23T12:33:25Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - Data-driven Koopman Operators for Model-based Shared Control of
Human-Machine Systems [66.65503164312705]
本稿では,データ駆動型共有制御アルゴリズムを提案する。
ユーザのインタラクションに関するダイナミクスと情報は、Koopman演算子を使用して観察から学習される。
モデルに基づく共有制御は、自然な学習やユーザのみの制御パラダイムと比較して、タスクとコントロールのメトリクスを著しく改善する。
論文 参考訳(メタデータ) (2020-06-12T14:14:07Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳(メタデータ) (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。