論文の概要: *-CFQ: Analyzing the Scalability of Machine Learning on a Compositional Task

• arxiv url: http://arxiv.org/abs/2012.08266v1
• Date: Tue, 15 Dec 2020 13:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:37:59.070048
• Title: *-CFQ: Analyzing the Scalability of Machine Learning on a Compositional Task
• Title（参考訳）: *-CFQ: 構成タスクにおける機械学習のスケーラビリティの分析
• Authors: Dmitry Tsarkov, Tibor Tihon, Nathan Scales, Nikola Momchev, Danila Sinopalnikov, Nathanael Sch\"arli
• Abstract要約: 自然言語の範囲を拡大すると、トレーニングデータの増加によって部分的にオフセットされたエラー率が一貫した増加につながることを示す。 さらに、関連ドメインからの追加のトレーニングデータにより、データ探索時の精度が向上する一方で、この改善は制限され、関連するドメインから対象ドメインへの距離が増加するにつれて減少することを示す。
• 参考スコア（独自算出の注目度）: 1.747623282473278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present *-CFQ ("star-CFQ"): a suite of large-scale datasets of varying scope based on the CFQ semantic parsing benchmark, designed for principled investigation of the scalability of machine learning systems in a realistic compositional task setting. Using this suite, we conduct a series of experiments investigating the ability of Transformers to benefit from increased training size under conditions of fixed computational cost. We show that compositional generalization remains a challenge at all training sizes, and we show that increasing the scope of natural language leads to consistently higher error rates, which are only partially offset by increased training data. We further show that while additional training data from a related domain improves the accuracy in data-starved situations, this improvement is limited and diminishes as the distance from the related domain to the target domain increases.
• Abstract（参考訳）: 本稿では,現実的な構成タスク設定における機械学習システムのスケーラビリティの原理的調査を目的とした,CFQセマンティック解析ベンチマークに基づく,さまざまな範囲の大規模データセットスイートである*-CFQ(star-CFQ)を提案する。 このスイートを用いて,一定計算コストの条件下でのトレーニングサイズの増加によるトランスフォーマーの能力について,一連の実験を行った。 構成的一般化は,すべてのトレーニングサイズにおいて依然として課題であり,自然言語の範囲の増大は,トレーニングデータの増加によって部分的にオフセットされるだけで,常に高いエラー率をもたらすことを示す。 さらに、関連ドメインからの追加のトレーニングデータにより、データ探索時の精度が向上する一方で、この改善は制限され、関連するドメインから対象ドメインへの距離が増加するにつれて減少することを示す。

関連論文リスト

• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• Unveiling Transformers with LEGO: a synthetic reasoning task [23.535488809197787]
  我々は、トランスフォーマーアーキテクチャが推論の連鎖に従うことを学ぶ方法について研究する。 一部のデータ構造では、訓練されたトランスフォーマーは、推論の連鎖に従う"ショートカット"ソリューションを見つける。 このようなショートカットが適切なアーキテクチャ修正やデータ準備によって防止できることが分かりました。
  論文  参考訳（メタデータ） (2022-06-09T06:30:17Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Data-Centric Machine Learning in Quantum Information Science [0.0]
  特に、トレーニングセットのシステマティックエンジニアリングが、事前学習されたニューラルネットワークの精度を大幅に向上させる方法について考察する。 目標シナリオの予測分布と正確に一致するようにトレーニングセットを設計することが必ずしも最適ではないことを示し、その代わりに、トレーニングセットを目標よりもわずかに混合することにより、パフォーマンスをさらに向上できることを示した。
  論文  参考訳（メタデータ） (2022-01-22T21:36:54Z)
• Learning Operators with Coupled Attention [9.715465024071333]
  本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。 我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。 これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
  論文  参考訳（メタデータ） (2022-01-04T08:22:03Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• ScatSimCLR: self-supervised contrastive learning with pretext task regularization for small-scale datasets [5.2424255020469595]
  データの複数ビュー間の対照的な損失に基づく小規模データセットに対する自己教師型学習の課題について考察する。 同じ分類精度を維持しつつ,システム全体のパラメータ数やビュー数を大幅に削減できると主張している。
  論文  参考訳（メタデータ） (2021-08-31T15:58:45Z)
• VisDA-2021 Competition Universal Domain Adaptation to Improve Performance on Out-of-Distribution Data [64.91713686654805]
  Visual Domain Adaptation (VisDA) 2021コンペティションは、新しいテストディストリビューションに適応するモデルの能力をテストする。 我々は,新しい視点,背景,モダリティ,品質劣化への適応性を評価する。 厳密なプロトコルを使用してパフォーマンスを計測し、最先端のドメイン適応手法と比較する。
  論文  参考訳（メタデータ） (2021-07-23T03:21:51Z)
• More data or more parameters? Investigating the effect of data structure on generalization [17.249712222764085]
  データの特性は、トレーニング例の数とトレーニングパラメータの数の関数としてテストエラーに影響を与えます。 ラベル内のノイズや入力データの強い異方性がテストエラーと同じような役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T16:08:41Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。