論文の概要: Intelligence, physics and information -- the tradeoff between accuracy
and simplicity in machine learning
- arxiv url: http://arxiv.org/abs/2001.03780v2
- Date: Mon, 20 Jan 2020 17:51:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 09:37:11.253547
- Title: Intelligence, physics and information -- the tradeoff between accuracy
and simplicity in machine learning
- Title（参考訳）: 知性、物理、情報 -- 機械学習における正確さと単純さのトレードオフ
- Authors: Tailin Wu
- Abstract要約: 私は、インテリジェンスを多くの統合的な側面で見ることと、タスクのパフォーマンスと複雑さの間の普遍的な2日間のトレードオフは、2つの実現可能な視点を提供すると信じています。
この論文では、インテリジェンスのいくつかの側面においていくつかの重要な問題に対処し、2期間のトレードオフにおける相転移について研究する。
- 参考スコア（独自算出の注目度）: 5.584060970507507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How can we enable machines to make sense of the world, and become better at
learning? To approach this goal, I believe viewing intelligence in terms of
many integral aspects, and also a universal two-term tradeoff between task
performance and complexity, provides two feasible perspectives. In this thesis,
I address several key questions in some aspects of intelligence, and study the
phase transitions in the two-term tradeoff, using strategies and tools from
physics and information. Firstly, how can we make the learning models more
flexible and efficient, so that agents can learn quickly with fewer examples?
Inspired by how physicists model the world, we introduce a paradigm and an AI
Physicist agent for simultaneously learning many small specialized models
(theories) and the domain they are accurate, which can then be simplified,
unified and stored, facilitating few-shot learning in a continual way.
Secondly, for representation learning, when can we learn a good representation,
and how does learning depend on the structure of the dataset? We approach this
question by studying phase transitions when tuning the tradeoff hyperparameter.
In the information bottleneck, we theoretically show that these phase
transitions are predictable and reveal structure in the relationships between
the data, the model, the learned representation and the loss landscape.
Thirdly, how can agents discover causality from observations? We address part
of this question by introducing an algorithm that combines prediction and
minimizing information from the input, for exploratory causal discovery from
observational time series. Fourthly, to make models more robust to label noise,
we introduce Rank Pruning, a robust algorithm for classification with noisy
labels. I believe that building on the work of my thesis we will be one step
closer to enable more intelligent machines that can make sense of the world.
- Abstract（参考訳）: 機械が世界を理解でき、学習が上手になるにはどうすればいいのか?
この目標を達成するために、多くの統合的な側面からインテリジェンスを眺めると同時に、タスクのパフォーマンスと複雑性の普遍的な2日間のトレードオフは、2つの実現可能な視点を提供します。
本論では,知性のいくつかの側面において,いくつかの重要な問題に対処し,物理と情報からの戦略とツールを用いて,2年間のトレードオフにおける相転移を研究する。
まず、エージェントが少ない例ですばやく学習できるように、学習モデルをより柔軟で効率的なものにするにはどうすればよいのか?
物理学者が世界をどのようにモデル化するかに触発されて、我々は、多くの小さな専門モデル(理論)とそれらが正確である領域を同時に学習するためのパラダイムとai物理学者エージェントを紹介します。
次に、表現学習では、いつ良い表現を学べるのか、学習はデータセットの構造にどのように依存するのか?
我々は、トレードオフハイパーパラメータをチューニングする際に位相遷移を研究することでこの問題にアプローチする。
情報ボトルネックでは,これらの相転移が予測可能であることを理論的に示し,データ,モデル,学習された表現,損失景観の関係構造を明らかにする。
第3に、エージェントはどうやって観察から因果性を発見できるのか?
我々は,観測時系列からの探索的因果発見のために,入力からの情報予測と最小化を組み合わせたアルゴリズムを導入することで,この問題の一部を解決した。
第4に、ノイズのラベル付けをより堅牢にするために、ノイズラベル付き分類のためのロバストなアルゴリズムであるランクプルーニングを導入する。
私の論文の成果に基づいて構築することは、世界を理解することができるよりインテリジェントなマシンを実現するための一歩になると思います。
関連論文リスト
- A Dual Approach to Imitation Learning from Observations with Offline Datasets [19.856363985916644]
報酬関数の設計が困難な環境では、エージェントを学習するためのタスク仕様の効果的な代替手段である。
専門家の行動を必要とせずに任意の準最適データを利用してポリシーを模倣するアルゴリズムであるDILOを導出する。
論文 参考訳（メタデータ） (2024-06-13T04:39:42Z) - Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳（メタデータ） (2023-10-24T19:50:41Z) - Accelerating exploration and representation learning with offline
pre-training [52.6912479800592]
1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。
ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2023-03-31T18:03:30Z) - Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。
本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
論文 参考訳（メタデータ） (2023-03-10T18:31:50Z) - Hindsight States: Blending Sim and Real Task Elements for Efficient
Reinforcement Learning [61.3506230781327]
ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。
ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。
提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
論文 参考訳（メタデータ） (2023-03-03T21:55:04Z) - Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
強化学習のための自己予測学習の学習ダイナミクスについて検討する。
本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-06T20:43:37Z) - Solving Reasoning Tasks with a Slot Transformer [7.966351917016229]
本稿では、スロットアテンション、トランスフォーマー、およびビデオシーンデータに対する反復的変動推論を利用して表現を推論するアーキテクチャであるSlot Transformerを提案する。
アーキテクチャの主要なコンポーネントの有効性,モデルの表現能力,不完全な入力から予測できる能力について評価する。
論文 参考訳（メタデータ） (2022-10-20T16:40:30Z) - Stop ordering machine learning algorithms by their explainability! A
user-centered investigation of performance and explainability [0.0]
機械学習アルゴリズムのモデル性能と説明可能性のトレードオフについて検討する。
エンドユーザの認識では、トレードオフは徐々に減少しています。
第2の実験の結果、説明可能な人工知能の強化は説明可能性を高めるのに有効であるが、このタイプの説明はエンドユーザの知覚に不可欠な役割を担っていることがわかった。
論文 参考訳（メタデータ） (2022-06-20T08:32:38Z) - Distill on the Go: Online knowledge distillation in self-supervised
learning [1.1470070927586016]
最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。
単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。
以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
論文 参考訳（メタデータ） (2021-04-20T09:59:23Z) - Laplacian Denoising Autoencoder [114.21219514831343]
本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。
勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。
いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
論文 参考訳（メタデータ） (2020-03-30T16:52:39Z) - Explainable Active Learning (XAL): An Empirical Study of How Local
Explanations Impact Annotator Experience [76.9910678786031]
本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。
本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
論文 参考訳（メタデータ） (2020-01-24T22:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。