Fugu-MT 論文翻訳(概要): Buffer Overflow in Mixture of Experts

論文の概要: Buffer Overflow in Mixture of Experts

arxiv url: http://arxiv.org/abs/2402.05526v1
Date: Thu, 8 Feb 2024 10:05:28 GMT
ステータス: 処理完了
システム内更新日: 2024-02-09 15:39:17.967160
Title: Buffer Overflow in Mixture of Experts
Title（参考訳）: エキスパートの混在によるバッファオーバーフロー
Authors: Jamie Hayes, Ilia Shumailov, Itay Yona
Abstract要約: クロスバッチ依存関係を持つ専門家のルーティング戦略が攻撃に対して脆弱であることを示します。悪質なクエリはモデルに送信することができ、同じバッチにグループ化されている場合、他の良質なクエリに対するモデルの出力に影響を与える可能性がある。
参考スコア（独自算出の注目度）: 22.506087261648926
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Mixture of Experts (MoE) has become a key ingredient for scaling large foundation models while keeping inference costs steady. We show that expert routing strategies that have cross-batch dependencies are vulnerable to attacks. Malicious queries can be sent to a model and can affect a model's output on other benign queries if they are grouped in the same batch. We demonstrate this via a proof-of-concept attack in a toy experimental setting.
Abstract（参考訳）: 専門家の混合(moe)は、推論コストを安定させつつ、大規模基礎モデルのスケーリングにおいて重要な要素となっている。クロスバッチ依存のエキスパートルーティング戦略は攻撃に対して脆弱であることを示す。悪意のあるクエリはモデルに送信され、同じバッチでグループ化されている場合、他の良質なクエリに対するモデルの出力に影響する可能性がある。玩具実験環境では概念実証攻撃によってこれを実証する。

関連論文リスト

Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
論文参考訳（メタデータ） (2024-05-23T12:45:29Z)
Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。バックドア攻撃は訓練中にモデルに悪意ある行動を埋め込む我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文参考訳（メタデータ） (2024-03-24T18:33:15Z)
DTA: Distribution Transform-based Attack for Query-Limited Scenario [11.874670564015789]
敵の例を生成する際、従来のブラックボックス攻撃法は攻撃対象モデルからの十分なフィードバックに依存している。本稿では,攻撃された動作が限られた数のクエリを実行可能であることをシミュレートするハードラベル攻撃を提案する。提案したアイデアの有効性とDTAの最先端性を検証する実験を行った。
論文参考訳（メタデータ） (2023-12-12T13:21:03Z)
Ensemble-based Blackbox Attacks on Dense Prediction [16.267479602370543]
慎重に設計されたアンサンブルは、多くの犠牲者モデルに対して効果的な攻撃を発生させることができることを示す。特に,個々のモデルに対する重み付けの正規化が,攻撃の成功に重要な役割を担っていることを示す。提案手法は同時に複数のブラックボックス検出とセグメンテーションモデルを騙すことができる単一摂動を生成することができる。
論文参考訳（メタデータ） (2023-03-25T00:08:03Z)
Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
論文参考訳（メタデータ） (2022-09-14T21:09:34Z)
On the Representation Collapse of Sparse Mixture of Experts [102.83396489230375]
専門家のまばらな混合は、一定の計算オーバーヘッドを必要としながら、より大きなモデルキャパシティを提供する。入力トークンを隠された表現に従ってベストマッチした専門家に分散するためにルーティング機構を使用する。しかし、そのようなルーティングメカニズムを学ぶことで、専門家のセントロイドを中心にトークンのクラスタリングが促進され、表現の崩壊の傾向が示唆される。
論文参考訳（メタデータ） (2022-04-20T01:40:19Z)
Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
論文参考訳（メタデータ） (2021-11-25T05:51:03Z)
CC-Cert: A Probabilistic Approach to Certify General Robustness of Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文参考訳（メタデータ） (2021-09-22T12:46:04Z)
Doing Good or Doing Right? Exploring the Weakness of Commonsense Causal Reasoning Models [0.38073142980733]
意味的類似性バイアスの問題を調査し、特定の攻撃による現在のCOPAモデルの脆弱性を明らかにする。正規化損失を加えるだけでこの問題を緩和し、実験結果から、この解がモデルの一般化能力を向上させることを示す。
論文参考訳（メタデータ） (2021-07-05T05:08:30Z)
Protecting Classifiers From Attacks. A Bayesian Approach [0.9449650062296823]
我々は,攻撃者の行動に関する正確な知識の欠如を,敵対的リスク分析を用いて考慮した代替的ベイズ的枠組みを提供する。本研究では, 近似ベイズ計算に基づくサンプリング手法を提案する。大規模問題に対して、微分可能な分類器を扱う際に使用できる代替のスケーラブルなアプローチを提案する。
論文参考訳（メタデータ） (2020-04-18T21:21:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。