論文の概要: Enabling the Network to Surf the Internet

• arxiv url: http://arxiv.org/abs/2102.12205v1
• Date: Wed, 24 Feb 2021 11:00:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 13:29:35.614832
• Title: Enabling the Network to Surf the Internet
• Title（参考訳）: ネットワークがインターネットをサーフィンできるように
• Authors: Zhuoling Li, Haohan Wang, Tymoteusz Swistek, Weixin Chen, Yuanzheng Li, Haoqian Wang
• Abstract要約: 我々はモデルがインターネットをサーフィンできるフレームワークを開発した。 学習表現の一般化能力は,自己教師付き学習に不可欠である。 miniImageNet, tieredImageNet, Omniglotの実験により, 提案フレームワークの優位性を実証した。
• 参考スコア（独自算出の注目度）: 13.26679087834881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot learning is challenging due to the limited data and labels. Existing algorithms usually resolve this problem by pre-training the model with a considerable amount of annotated data which shares knowledge with the target domain. Nevertheless, large quantities of homogenous data samples are not always available. To tackle this issue, we develop a framework that enables the model to surf the Internet, which implies that the model can collect and annotate data without manual effort. Since the online data is virtually limitless and continues to be generated, the model can thus be empowered to constantly obtain up-to-date knowledge from the Internet. Additionally, we observe that the generalization ability of the learned representation is crucial for self-supervised learning. To present its importance, a naive yet efficient normalization strategy is proposed. Consequentially, this strategy boosts the accuracy of the model significantly (20.46% at most). We demonstrate the superiority of the proposed framework with experiments on miniImageNet, tieredImageNet and Omniglot. The results indicate that our method has surpassed previous unsupervised counterparts by a large margin (more than 10%) and obtained performance comparable with the supervised ones.
• Abstract（参考訳）: 限られたデータとラベルのため、わずかなショット学習は難しい。 既存のアルゴリズムは通常、モデルにターゲットドメインと知識を共有する大量の注釈付きデータで事前学習することでこの問題を解決する。 それにもかかわらず、大量の均質データサンプルは必ずしも入手できない。 そこで本研究では,モデルがインターネットを閲覧できる仕組みを構築し,手作業でデータを収集・注釈付けすることができることを示唆した。 オンラインデータは事実上無制限であり、生成し続けるので、モデルが常に最新の知識をインターネットから得ることができる。 さらに,学習表現の一般化能力は,自己指導型学習において重要であることも確認した。 その重要性を示すために, ナイーブかつ効率的な正規化戦略を提案する。 その結果、この戦略はモデルの精度を大幅に高める(最大で20.46%)。 miniImageNet, tieredImageNet, Omniglotの実験により, 提案フレームワークの優位性を実証した。 その結果,提案手法は従来の教師なしの手法よりも大きなマージン(10%以上)を越え,教師なしの手法に匹敵する性能を得た。

関連論文リスト

• Provable unlearning in topic modeling and downstream tasks [36.571324268874264]
  アンラーニングの保証は、しばしば教師付き学習設定に限られる。 我々は、事前学習と微調整のパラダイムにおいて、初となるアンラーニングの理論的保証を提供する。 我々は、特定のタスクに微調整されたモデルから事前学習データを容易に解放できることを示し、ベースモデルを変更することなく、このデータを解放できることを示した。
  論文  参考訳（メタデータ） (2024-11-19T16:04:31Z)
• Malicious Internet Entity Detection Using Local Graph Inference [0.4893345190925178]
  大規模ネットワークにおける悪意ある行動の検出は、コンピュータセキュリティにおける機械学習にとって難しい問題である。 現在のサイバーセクト対応アプローチはまだ表現力に制限があるが、他の領域で成功した手法は大量のデータに対してうまくスケールしない。 本研究では,ネットワークエンティティ間の相互作用を異種グラフとしてモデル化するグラフデータから学習する新たな視点を提案する。
  論文  参考訳（メタデータ） (2024-08-06T16:35:25Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
  現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。 本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。 提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
  論文  参考訳（メタデータ） (2023-11-03T17:29:46Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Efficiently Robustify Pre-trained Models [18.392732966487582]
  大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。 まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。 続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
  論文  参考訳（メタデータ） (2023-09-14T08:07:49Z)
• Task-Agnostic Robust Representation Learning [31.818269301504564]
  本研究では,未ラベルデータを用いた頑健な表現学習の課題をタスクに依存しない方法で検討する。 我々は、その損失をクリーンデータとロバストネス正則化器を用いて、下流タスクにおける予測モデルの逆方向の損失に上限を導出する。 本手法は,関係するベースラインと比較して,好適な対向性能を実現する。
  論文  参考訳（メタデータ） (2022-03-15T02:05:11Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。