論文の概要: *-CFQ: Analyzing the Scalability of Machine Learning on a Compositional Task

• arxiv url: http://arxiv.org/abs/2012.08266v1
• Date: Tue, 15 Dec 2020 13:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:37:59.070048
• Title: *-CFQ: Analyzing the Scalability of Machine Learning on a Compositional Task
• Title（参考訳）: *-CFQ: 構成タスクにおける機械学習のスケーラビリティの分析
• Authors: Dmitry Tsarkov, Tibor Tihon, Nathan Scales, Nikola Momchev, Danila Sinopalnikov, Nathanael Sch\"arli
• Abstract要約: 自然言語の範囲を拡大すると、トレーニングデータの増加によって部分的にオフセットされたエラー率が一貫した増加につながることを示す。 さらに、関連ドメインからの追加のトレーニングデータにより、データ探索時の精度が向上する一方で、この改善は制限され、関連するドメインから対象ドメインへの距離が増加するにつれて減少することを示す。
• 参考スコア（独自算出の注目度）: 1.747623282473278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present *-CFQ ("star-CFQ"): a suite of large-scale datasets of varying scope based on the CFQ semantic parsing benchmark, designed for principled investigation of the scalability of machine learning systems in a realistic compositional task setting. Using this suite, we conduct a series of experiments investigating the ability of Transformers to benefit from increased training size under conditions of fixed computational cost. We show that compositional generalization remains a challenge at all training sizes, and we show that increasing the scope of natural language leads to consistently higher error rates, which are only partially offset by increased training data. We further show that while additional training data from a related domain improves the accuracy in data-starved situations, this improvement is limited and diminishes as the distance from the related domain to the target domain increases.
• Abstract（参考訳）: 本稿では,現実的な構成タスク設定における機械学習システムのスケーラビリティの原理的調査を目的とした,CFQセマンティック解析ベンチマークに基づく,さまざまな範囲の大規模データセットスイートである*-CFQ(star-CFQ)を提案する。 このスイートを用いて,一定計算コストの条件下でのトレーニングサイズの増加によるトランスフォーマーの能力について,一連の実験を行った。 構成的一般化は,すべてのトレーニングサイズにおいて依然として課題であり,自然言語の範囲の増大は,トレーニングデータの増加によって部分的にオフセットされるだけで,常に高いエラー率をもたらすことを示す。 さらに、関連ドメインからの追加のトレーニングデータにより、データ探索時の精度が向上する一方で、この改善は制限され、関連するドメインから対象ドメインへの距離が増加するにつれて減少することを示す。

関連論文リスト

• Scale-Invariant Learning-to-Rank [0.0]
  Expediaでは、学習からランクまでのモデルが、ユーザがより関連性のある情報をソートし提示する上で重要な役割を担っている。 これらのモデルをデプロイする上で大きな課題は、トレーニングと運用データ間の一貫した機能スケーリングを保証することだ。 本稿では,学習時間と予測時間の両方でモデル内のスケール不変性を数学的に保証するために,ディープニューラルネットワークとワイドニューラルネットワークを組み合わせたスケール不変LTRフレームワークを提案する。 我々は、予測時にテストセットを摂動させることにより、実世界のシナリオをシミュレーションして評価し、一貫性のないトレインテストのスケーリングであっても、フレームワークを使用した場合よりも優れたパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2024-10-02T19:05:12Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• VIRL: Volume-Informed Representation Learning towards Few-shot Manufacturability Estimation [0.0]
  本研究は,3次元幾何エンコーダの事前学習のためのボリュームインフォームド表現学習手法であるVIRLを紹介する。 VIRLによって事前訓練されたモデルでは,データ制限による一般化性の向上が大幅に向上した。
  論文  参考訳（メタデータ） (2024-06-18T05:30:26Z)
• OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
  FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。 FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。 表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:30:48Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Data-Centric Machine Learning in Quantum Information Science [0.0]
  特に、トレーニングセットのシステマティックエンジニアリングが、事前学習されたニューラルネットワークの精度を大幅に向上させる方法について考察する。 目標シナリオの予測分布と正確に一致するようにトレーニングセットを設計することが必ずしも最適ではないことを示し、その代わりに、トレーニングセットを目標よりもわずかに混合することにより、パフォーマンスをさらに向上できることを示した。
  論文  参考訳（メタデータ） (2022-01-22T21:36:54Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Feature space approximation for kernel-based supervised learning [2.653409741248232]
  目標は、トレーニングデータのサイズを減らし、ストレージ消費と計算の複雑さを減らすことだ。 完全トレーニングデータセットを含むデータ駆動予測の計算と比較して,大幅な改善が示された。 本手法は, 画像認識, システム識別, 海洋時系列解析などの異なる応用領域の分類と回帰問題に適用する。
  論文  参考訳（メタデータ） (2020-11-25T11:23:58Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。