論文の概要: NLP Service APIs and Models for Efficient Registration of New Clients

• arxiv url: http://arxiv.org/abs/2010.01526v1
• Date: Sun, 4 Oct 2020 09:47:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 03:05:28.149752
• Title: NLP Service APIs and Models for Efficient Registration of New Clients
• Title（参考訳）: 新しいクライアントの効率的な登録のためのNLPサービスAPIとモデル
• Authors: Sahil Shah, Vihari Piratla, Soumen Chakrabarti, Sunita Sarawagi
• Abstract要約: 最先端のNLP推論では、GPUでトレーニングされた巨大なニューラルネットワークとモデルが使用されている。 これにより、大規模なAI企業による、すべてのパブリックAPIベースのNLPサービスモデルが、多数のクライアントに提供されるようになりました。 我々は,集中型NLPサービスのクライアントへの適応に関する研究を開始し,実用的で軽量なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 42.43072290124031
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art NLP inference uses enormous neural architectures and models trained for GPU-months, well beyond the reach of most consumers of NLP. This has led to one-size-fits-all public API-based NLP service models by major AI companies, serving large numbers of clients. Neither (hardware deficient) clients nor (heavily subscribed) servers can afford traditional fine tuning. Many clients own little or no labeled data. We initiate a study of adaptation of centralized NLP services to clients, and present one practical and lightweight approach. Each client uses an unsupervised, corpus-based sketch to register to the service. The server uses an auxiliary network to map the sketch to an abstract vector representation, which then informs the main labeling network. When a new client registers with its sketch, it gets immediate accuracy benefits. We demonstrate the success of the proposed architecture using sentiment labeling, NER, and predictive language modeling
• Abstract（参考訳）: 最先端のNLP推論では、GPUでトレーニングされた巨大なニューラルネットワークとモデルが使用されている。 これにより、大規模なAI企業による、すべてのパブリックAPIベースのNLPサービスモデルが、多数のクライアントに提供されるようになりました。 クライアント(ハードウエアの欠陥)もサーバ(多種多様なサブスクライブ)も、従来の微調整はできない。 多くのクライアントはラベル付きデータをほとんど持っていない。 我々は,集中型NLPサービスのクライアントへの適応に関する研究を開始し,実用的で軽量なアプローチを提案する。 各クライアントは教師なしのコーパスベースのスケッチを使用してサービスに登録する。 サーバは補助ネットワークを使用してスケッチを抽象ベクトル表現にマップし、それをメインのラベリングネットワークに通知する。 新しいクライアントがスケッチで登録すると、すぐに精度が向上する。 我々は、感情ラベル付け、NER、予測言語モデリングを用いた提案アーキテクチャの成功例を示す。

関連論文リスト

• Federated Graph Learning with Graphless Clients [52.5629887481768]
  FGL(Federated Graph Learning)は、グラフニューラルネットワーク(GNN)などの機械学習モデルをトレーニングするタスクである。 グラフレスクライアントを用いたFGLにおける問題に対処するための新しいフレームワークFedGLSを提案する。
  論文  参考訳（メタデータ） (2024-11-13T06:54:05Z)
• PeFLL: Personalized Federated Learning by Learning to Learn [16.161876130822396]
  PeFLLは,3つの側面で最先端の学習を改善する,個人化された新しいフェデレーション学習アルゴリズムである。 PeFLLの中核には、埋め込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習へのアプローチがある。
  論文  参考訳（メタデータ） (2023-06-08T19:12:42Z)
• Development of Authenticated Clients and Applications for ICICLE CI Services -- Final Report for the REHS Program, June-August, 2022 [0.0]
  ICICLE リソースやサービスにアクセスする Jupyter Notebooks と Python コマンドラインクライアントの開発について述べる。 クライアントを接続するために、計算研究をサポートするフレームワークであるTapisを使用しました。 本報告では,ソフトウェアアーキテクチャ,設計とアプローチ,クライアントソフトウェアの成功,今後の作業について述べる。
  論文  参考訳（メタデータ） (2023-04-17T00:27:07Z)
• REaaS: Enabling Adversarially Robust Downstream Classifiers via Robust Encoder as a Service [67.0982378001551]
  サービスプロバイダがエンコーダを事前トレーニングして、クラウドサービスAPIとしてデプロイする方法を示します。 クライアントはクラウドサービスAPIに問い合わせて、トレーニング/テスト入力のフィーチャーベクタを取得する。 私たちは、クライアントが下流の分類器の堅牢性を証明できるように、クラウドサービスが2つのAPIを提供する必要があることを示しています。
  論文  参考訳（メタデータ） (2023-01-07T17:40:11Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Inference-Time Personalized Federated Learning [17.60724466773559]
  推論時間 PFL (Inference-Time PFL) は、一連のクライアントでトレーニングされたモデルを、推論時に新しい未ラベルのクライアントで後で評価する必要がある場所である。 本稿では,ハイパーネットワークモジュールとエンコーダモジュールをベースとしたIT-PFL-HNを提案する。 IT-PFL-HNは、特に新規クライアントが大きなドメインシフトを持つ場合、現在のFL法やPFL法よりも一般化されている。
  論文  参考訳（メタデータ） (2021-11-16T10:57:20Z)
• FedNS: Improving Federated Learning for collaborative image classification on mobile clients [22.980223900446997]
  Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。 本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。 我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
  論文  参考訳（メタデータ） (2021-01-20T06:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。