論文の概要: Generalizing in the Real World with Representation Learning

• arxiv url: http://arxiv.org/abs/2210.09925v1
• Date: Tue, 18 Oct 2022 15:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:45:59.405387
• Title: Generalizing in the Real World with Representation Learning
• Title（参考訳）: 表現学習による現実世界の一般化
• Authors: Tegan Maharaj
• Abstract要約: 機械学習(ML)は、コンピュータにパフォーマンスの最適化としての経験から学習させるという問題を、いくつかの指標に従って定式化する。 これは、事前に規定された振る舞い(例えば、ハードコードされたルール)を要求することと対照的である。 この論文では、深いネットの一般化をよりよく理解し、仮定や問題設定が現実の世界に一般化できないいくつかの方法を特定し、実際にそれらの失敗に対処する方法を提案します。
• 参考スコア（独自算出の注目度）: 1.3494312389622642
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine learning (ML) formalizes the problem of getting computers to learn from experience as optimization of performance according to some metric(s) on a set of data examples. This is in contrast to requiring behaviour specified in advance (e.g. by hard-coded rules). Formalization of this problem has enabled great progress in many applications with large real-world impact, including translation, speech recognition, self-driving cars, and drug discovery. But practical instantiations of this formalism make many assumptions - for example, that data are i.i.d.: independent and identically distributed - whose soundness is seldom investigated. And in making great progress in such a short time, the field has developed many norms and ad-hoc standards, focused on a relatively small range of problem settings. As applications of ML, particularly in artificial intelligence (AI) systems, become more pervasive in the real world, we need to critically examine these assumptions, norms, and problem settings, as well as the methods that have become de-facto standards. There is much we still do not understand about how and why deep networks trained with stochastic gradient descent are able to generalize as well as they do, why they fail when they do, and how they will perform on out-of-distribution data. In this thesis I cover some of my work towards better understanding deep net generalization, identify several ways assumptions and problem settings fail to generalize to the real world, and propose ways to address those failures in practice.
• Abstract（参考訳）: 機械学習(ML)は、一連のデータ例に基づいて、パフォーマンスの最適化として経験からコンピュータを学習させるという問題を定式化する。 これは事前に指定された振る舞い(例えばハードコードされたルール)を要求することとは対照的である。 この問題の形式化は、翻訳、音声認識、自動運転車、薬物発見など、現実世界に大きな影響を与える多くのアプリケーションにおいて大きな進歩をもたらした。 しかし、この形式主義の実践的なインスタンス化は、例えばデータが独立で同一の分散である、という多くの仮定を下している。 そして、このような短期間で大きな進歩を遂げる中で、この分野は比較的少数の問題設定に焦点を当てた多くの規範とアドホック標準を開発してきた。 MLの応用、特に人工知能(AI)システムにおいて、現実世界で広く普及するにつれて、これらの仮定、規範、問題設定、そしてデファクトスタンダードとなった手法を批判的に検証する必要がある。 確率的勾配降下で訓練されたディープネットワークが、どのようにして一般化できるのか、なぜ失敗したのか、どのように分散データを処理するのか、については、まだ多くのことが分かっていない。 この論文では、深いネットの一般化をよりよく理解し、仮定や問題設定が現実の世界に一般化できないいくつかの方法を特定し、実際にそれらの失敗に対処する方法を提案します。

関連論文リスト

• Anomaly Detection by Context Contrasting [57.695202846009714]
  異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。 近年の自己教師型学習の進歩は、この点において大きな可能性を秘めている。 本稿では、通常のトレーニングデータを異なるコンテキストに設定することで、この問題に対処するCon2を提案する。 より現実的な医療環境では,様々なベンチマークで最先端のパフォーマンスを実現しつつ,優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-29T07:59:06Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• Implicit Bias of Policy Gradient in Linear Quadratic Control: Extrapolation to Unseen Initial States [52.56827348431552]
  勾配降下はしばしば暗黙のバイアスを示し、目に見えないデータに優れたパフォーマンスをもたらす。 本稿では,初期状態に対する外挿の観点から,政策勾配の暗黙バイアスを理論的に検討する。
  論文  参考訳（メタデータ） (2024-02-12T18:41:31Z)
• Data Distribution Bottlenecks in Grounding Language Models to Knowledge Bases [9.610231090476857]
  言語モデル(LM)は、自然言語と形式言語の両方を理解し、生成する際、すでに顕著な能力を示している。 本論文は,知識ベース質問応答(KBQA)を課題として,LMが直面する課題を明らかにすることを目的とした実験的研究である。 実験の結果,提案手法を応用しても,様々な次元において,先進的な小・大規模言語モデルの性能が低下していることが判明した。
  論文  参考訳（メタデータ） (2023-09-15T12:06:45Z)
• Deep Transfer Learning for Automatic Speech Recognition: Towards Better Generalization [3.6393183544320236]
  深層学習(DL)における音声認識の課題 大規模なトレーニングデータセットと高い計算とストレージリソースが必要です。 ディープトランスファーラーニング(DTL)はこれらの問題を克服するために導入された。
  論文  参考訳（メタデータ） (2023-04-27T21:08:05Z)
• Fairness and Accuracy under Domain Generalization [10.661409428935494]
  機械学習アルゴリズムが特定の社会グループに偏っているのではないかという懸念が持ち上がっている。 MLモデルを公平にするための多くのアプローチが提案されているが、トレーニングとデプロイメントにおけるデータ分散が同一であるという仮定に依存しているのが一般的である。 本研究では,テスト時のデータのサンプル化が可能な領域一般化の下でのフェアネスと精度の両面について検討する。
  論文  参考訳（メタデータ） (2023-01-30T23:10:17Z)
• A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
  ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• On the Generalization Mystery in Deep Learning [15.2292571922932]
  2つの質問に対する答えは、トレーニング中の異なる例の勾配の相互作用にあると論じる。 我々は、コヒーレンスに対する計算が容易で解釈可能な計量を用いて、この議論を定式化する。 この理論は、なぜいくつかの例が他の例よりも早く確実に学習されるのかなど、ディープラーニングの他の多くの現象についても説明している。
  論文  参考訳（メタデータ） (2022-03-18T16:09:53Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Out of Distribution Generalization in Machine Learning [0.0]
  モデルがトレーニングされたデータとわずかに異なるデータでテストされる日常の状況では、MLアルゴリズムは壮大に失敗する可能性があります。 この研究は、この問題を形式的に定義し、データで妥当な仮定セットを定義しようとしています。 次に,分布問題,それらの仮定のある種のクラスに注目し,これらの仮定から従う単純なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-03-03T20:35:19Z)
• Underspecification Presents Challenges for Credibility in Modern Machine Learning [95.90009829265297]
  深層学習など、現代のMLパイプラインでは、過小評価が一般的である。 ここでは、そのような予測器がデプロイメントドメインで非常に異なる振る舞いをすることができることを示す。 この曖昧さは、現実の不安定性とモデルの振る舞いを損なう可能性がある。
  論文  参考訳（メタデータ） (2020-11-06T14:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。