論文の概要: Learning Representations that Support Extrapolation
- arxiv url: http://arxiv.org/abs/2007.05059v2
- Date: Sat, 8 Aug 2020 22:36:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 04:51:08.637691
- Title: Learning Representations that Support Extrapolation
- Title（参考訳）: 補間を支援する学習表現
- Authors: Taylor W. Webb, Zachary Dulberg, Steven M. Frankland, Alexander A.
Petrov, Randall C. O'Reilly, Jonathan D. Cohen
- Abstract要約: 我々は外挿を支援する表現を学習する上での課題について考察する。
本稿では,外挿の段階的評価を可能にする新しい視覚的類似性ベンチマークを提案する。
また、オブジェクト間の関係を強調する表現を促進するシンプルな手法である時間的文脈正規化を導入する。
- 参考スコア（独自算出の注目度）: 55.79842020782388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extrapolation -- the ability to make inferences that go beyond the scope of
one's experiences -- is a hallmark of human intelligence. By contrast, the
generalization exhibited by contemporary neural network algorithms is largely
limited to interpolation between data points in their training corpora. In this
paper, we consider the challenge of learning representations that support
extrapolation. We introduce a novel visual analogy benchmark that allows the
graded evaluation of extrapolation as a function of distance from the convex
domain defined by the training data. We also introduce a simple technique,
temporal context normalization, that encourages representations that emphasize
the relations between objects. We find that this technique enables a
significant improvement in the ability to extrapolate, considerably
outperforming a number of competitive techniques.
- Abstract（参考訳）: 外挿(外挿) -- 経験の範囲を超えた推論を行う能力 - は、人間の知能の要点である。
対照的に、現代のニューラルネットワークアルゴリズムが示す一般化は、トレーニングコーパスのデータポイント間の補間に限られている。
本稿では,外挿を支援する表現学習の課題について考察する。
トレーニングデータによって定義された凸領域からの距離の関数として外挿の段階的評価を可能にする新しい視覚類似ベンチマークを導入する。
また、オブジェクト間の関係を強調する表現を促進するシンプルな手法である時間的文脈正規化を導入する。
この手法によって外挿能力が大幅に向上し、多くの競合技術を大きく上回ることが分かりました。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - The Relational Bottleneck as an Inductive Bias for Efficient Abstraction [3.19883356005403]
ニューラルネットワークはアーキテクチャを通して、個々の入力の属性ではなく、知覚的入力間の関係に焦点を絞っていることを示す。
データ効率のよい方法で抽象化を誘導するために、このアプローチを用いたモデルのファミリーをレビューする。
論文 参考訳（メタデータ） (2023-09-12T22:44:14Z) - From Patches to Objects: Exploiting Spatial Reasoning for Better Visual
Representations [2.363388546004777]
本研究では,空間的推論に基づく新しい予備的事前学習手法を提案する。
本提案手法は,識別的自己管理手法の補助的タスクとして空間推論を導入することで,より柔軟なコントラスト学習の定式化を実現する。
論文 参考訳（メタデータ） (2023-05-21T07:46:46Z) - Contextualization and Generalization in Entity and Relation Extraction [0.0]
本研究では、訓練中に見えない事実への一般化に関する最先端モデルの振る舞いについて検討する。
従来のベンチマークは、トレーニングとモデル評価に使用される言及と関係の間に重要な語彙的重複を示す。
本稿では,トレーニングセットと重複する言及と関連性に基づいて,パフォーマンスを分離するための実証的研究を提案する。
論文 参考訳（メタデータ） (2022-06-15T14:16:42Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳（メタデータ） (2022-04-26T02:22:28Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - Measuring disentangled generative spatio-temporal representation [9.264758623908813]
我々は2つの最先端の非絡み合い表現学習手法を採用し、これらを3つの大規模公共時間データセットに適用する。
学習した表現の変数を記述するために,本手法が現実世界のセマンティクスの発見に有効であることが判明した。
論文 参考訳（メタデータ） (2022-02-10T03:57:06Z) - Learning a Domain-Agnostic Visual Representation for Autonomous Driving
via Contrastive Loss [25.798361683744684]
ドメイン認識コントラスト学習(Domain-Agnostic Contrastive Learning、DACL)は、2段階の非監視ドメイン適応フレームワークである。
提案手法は,従来の最新手法に比べ,単眼深度推定作業における性能向上を実現した。
論文 参考訳（メタデータ） (2021-03-10T07:06:03Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。