論文の概要: Modular Pretraining Enables Access Control

• arxiv url: http://arxiv.org/abs/2607.08077v1
• Date: Thu, 09 Jul 2026 03:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.402929
• Title: Modular Pretraining Enables Access Control
• Title（参考訳）: モジュール事前学習によるアクセス制御
• Authors: Ethan Roland, Murat Cubuktepe, Erick Martinez, Stijn Servaes, Keenan Pepper, Mike Vaiana, Diogo Schwerz de Lucena, Judd Rosenblatt, Addie Foote, Cem Anil, Alex Cloud,
• Abstract要約: アクセス制御のゴールドスタンダードは、異なるユーザーに対して異なる機能を持つ別々のモデルを提供することである。 本稿では、ニューラルネットワークにモジュールを追加し、それを選択的に更新して特殊化を誘導する事前学習手法であるGRAMを提案する。 GRAMは、残りを保存しながらターゲットの能力を無効にし、ポストホックアンラーニングよりも回復に抵抗する。
• 参考スコア（独自算出の注目度）: 2.53196094411025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI developers face a dual-use dilemma. An AI capability that helps one user cure a disease can help another synthesize one. This dilemma could be resolved with access control, limiting dual-use AI capabilities to trusted deployments with a legitimate need. A gold standard for access control would be to serve separate models with different capabilities to different users. However, training and deploying multiple models is prohibitively expensive. To address this challenge, we propose gradient-routed auxiliary modules (GRAM), a pre-training method that adds modules to a neural network and selectively updates them to induce specialization. Ablating a module at inference time removes its capability from the network, approximating a model trained on filtered data. We evaluate GRAM on synthetic stories and realistic dual-use data spanning virology, cybersecurity, nuclear physics, and specialized code. These experiments show that GRAM disables targeted capabilities while preserving the rest, and resists their recovery under finetuning better than post-hoc unlearning. Most importantly, a Chinchilla-optimal scaling analysis from 50M to 5B parameters shows that the gap between data-filtered and full-data models widens with scale on removed capabilities but stays small on retained ones, and that GRAM closely tracks data filtering. GRAM's training cost is independent of the number of supported capability profiles, yielding a 5x reduction over data filtering in our 5-profile setting.
• Abstract（参考訳）: AI開発者は、デュアルユースジレンマに直面します。 あるユーザが病気を治すのを助けるAI機能は、別のユーザーがそれを合成するのに役立つ。 このジレンマはアクセス制御によって解決され、デュアルユースAI能力を正当なニーズで信頼性の高いデプロイメントに制限する。 アクセス制御のゴールドスタンダードは、異なるユーザーに対して異なる機能を持つ別々のモデルを提供することである。 しかし、複数のモデルのトレーニングとデプロイは違法に高価である。 この課題に対処するために,ニューラルネットワークにモジュールを追加する事前学習手法であるグラデーションロート補助モジュール(GRAM)を提案し,それを選択的に更新して特殊化を誘導する。 推論時にモジュールを非難することは、ネットワークからその能力を排除し、フィルタリングデータに基づいてトレーニングされたモデルを近似する。 我々は、ウイルス学、サイバーセキュリティ、核物理学、特殊コードにまたがる合成物語と現実的な二重利用データに基づいて、GRAMを評価する。 これらの実験により、GRAMは、残りを保存しながら目標能力を無効にし、ホット後の未学習よりも微調整で回復に抵抗することが示された。 最も重要なことは、50Mから5BパラメータのChinchilla-Optimalスケーリング分析によって、データフィルタリングとフルデータモデルの間のギャップが、削除された機能で拡大するが、保持されているものでは小さく、GRAMがデータフィルタリングを密接に追跡していることを示している。 GRAMのトレーニングコストは、サポート対象の能力プロファイルの数とは無関係で、5つの注目すべき設定でのデータフィルタリングを5倍削減します。

関連論文リスト

• Just Say What You Want: Only-prompting Self-rewarding Online Preference Optimization [64.34767799614328]
  現在の自己回帰アプローチは、差別者の判断能力に大きく依存している。 本稿では,判断能力に頼らずに嗜好データセットを生成する,新たな自己回帰型オンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-26T04:41:08Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• On-device Self-supervised Learning of Visual Perception Tasks aboard Hardware-limited Nano-quadrotors [53.59319391812798]
  SI50グラム以下のナノドロンは、学術と産業の両方で勢いを増している。 彼らの最も魅力的なアプリケーションは、知覚のためのディープラーニングモデルに依存している。 未知の環境にデプロイする場合、これらのモデルはドメインシフトによってパフォーマンスが低下することが多い。 本研究では,ナノドローンを用いたデバイス上での学習を初めて提案する。
  論文  参考訳（メタデータ） (2024-03-06T22:04:14Z)
• Enhancing Information Maximization with Distance-Aware Contrastive Learning for Source-Free Cross-Domain Few-Shot Learning [55.715623885418815]
  クロスドメインのFew-Shot Learningメソッドは、トレーニング前のフェーズでモデルをトレーニングするために、ソースドメインデータにアクセスする必要がある。 データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため,ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。 本稿では,これらの課題に対処するための距離対応コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T12:10:24Z)
• Two Independent Teachers are Better Role Model [7.001845833295753]
  我々は3D-DenseUNetと呼ばれる新しいディープラーニングモデルを提案する。 ダウンサンプリングにおけるグローバルアグリゲーションブロックとして機能し、空間情報損失の問題を解決する。 また,ラベル予測の代わりにモデル重みを要約した「2つの独立教師」という手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T08:22:41Z)
• DOCTOR: A Multi-Disease Detection Continual Learning Framework Based on Wearable Medical Sensors [3.088223994180069]
  ウェアラブル医療センサ(WMS)に基づく多相検出連続学習フレームワークであるDOCTORを提案する。 マルチヘッドディープニューラルネットワーク(DNN)とリプレイスタイルのCLアルゴリズムを採用している。 平均テスト精度は1.43倍、F1スコアは1.25倍、後方転送は0.41倍である。
  論文  参考訳（メタデータ） (2023-05-09T19:33:17Z)
• Mithridates: Auditing and Boosting Backdoor Resistance of Machine Learning Pipelines [16.712814763678495]
  潜在的に信頼できないソースのデータに基づいてトレーニングされた機械学習モデルは、毒に弱い。 本稿では,最小限のトレーニング入力数に基づく,汎用的かつ攻撃非依存な抵抗測定法を提案する。 以上の結果から,Mithridatesは複数種類のバックドア攻撃に対する耐性を3～5倍増し,精度にわずかに影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2023-02-09T23:34:17Z)
• Dual Learning for Large Vocabulary On-Device ASR [64.10124092250128]
  デュアル・ラーニング(英: Dual learning)は、教師なしのデータを一度に2つの逆のタスクを解くことによって活用しようとする、半教師なし機械学習のパラダイムである。 本稿では,Librispeech全体をトレーニングしたオンデバイスサイズのストリーミングコンバータの解析を行い,LMを使わずにWERを10.7%/5.2%,LMを11.7%/16.4%改善したことを示す。
  論文  参考訳（メタデータ） (2023-01-11T06:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。