論文の概要: Using Human Perception to Regularize Transfer Learning

• arxiv url: http://arxiv.org/abs/2211.07885v1
• Date: Tue, 15 Nov 2022 04:18:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 13:51:38.177040
• Title: Using Human Perception to Regularize Transfer Learning
• Title（参考訳）: 人間の知覚を用いた転帰学習の正規化
• Authors: Justin Dulay, Walter J. Scheirer
• Abstract要約: 機械学習コミュニティの最近の傾向は、人間の知覚的測定に対する忠実度のあるモデルが視覚タスクに強く影響していることを示している。 本稿では,モデルにおける心理物理学ラベルの正規化力で伝達学習を改善する手法であるPERCEP-TLを紹介する。 視覚変換器を含む行動忠実度の高いモデルは、この正規化から最大1.9%のTop@1精度ポイントで改善されている。
• 参考スコア（独自算出の注目度）: 12.916638258156953
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent trends in the machine learning community show that models with fidelity toward human perceptual measurements perform strongly on vision tasks. Likewise, human behavioral measurements have been used to regularize model performance. But can we transfer latent knowledge gained from this across different learning objectives? In this work, we introduce PERCEP-TL (Perceptual Transfer Learning), a methodology for improving transfer learning with the regularization power of psychophysical labels in models. We demonstrate which models are affected the most by perceptual transfer learning and find that models with high behavioral fidelity -- including vision transformers -- improve the most from this regularization by as much as 1.9\% Top@1 accuracy points. These findings suggest that biologically inspired learning agents can benefit from human behavioral measurements as regularizers and psychophysical learned representations can be transferred to independent evaluation tasks.
• Abstract（参考訳）: 機械学習コミュニティの最近のトレンドは、人間の知覚計測に忠実なモデルが視覚タスクに強く影響していることを示している。 同様に、人間の行動測定はモデル性能の正則化に使われてきた。 しかし、これから得られた潜在知識を異なる学習目標に移行できるだろうか? 本研究では,モデルにおける心理物理学ラベルの正規化力で伝達学習を改善する手法であるPERCEP-TL(Perceptual Transfer Learning)を紹介する。 我々は、知覚伝達学習によって最も影響を受けるモデルを示し、視覚トランスフォーマーを含む行動的忠実度の高いモデルが、この正規化から最大1.9倍のtop@1精度ポイントを改善できることを見出した。 これらの結果から, 生物学的にインスパイアされた学習エージェントは, 正規化要因や心理物理学的学習表現として人間の行動測定の恩恵を受けることが示唆された。

関連論文リスト

• An Experimental Comparison of Transfer Learning against Self-supervised Learning [6.744847405966574]
  本稿では,医療分野における転帰学習と自己指導学習のパフォーマンスと堅牢性を比較した。 我々は、データ不均衡、データの不足、ドメインミスマッチなど、医療領域で共通するいくつかの問題でデータをテストした。 医療分野における転帰学習と自己指導型学習の活用を支援するための推奨事項を提示する。
  論文  参考訳（メタデータ） (2024-07-08T04:14:52Z)
• The Role of Higher-Order Cognitive Models in Active Learning [8.847360368647752]
  我々は、人間のフィードバックのためのアクティブな学習のための新しいパラダイムを提唱する。 エージェントのレベルが上がると、アクティブな学習システムと教師との合理的コミュニケーションの質的に異なる形態がもたらされるかについて議論する。
  論文  参考訳（メタデータ） (2024-01-09T07:39:36Z)
• Benchmarking Continual Learning from Cognitive Perspectives [14.867136605254975]
  継続的な学習は、古い概念を破滅的に忘れることなく、継続的に知識を取得し、伝達する問題に対処する。 連続学習モデルの認知特性と評価方法にはミスマッチがある。 本稿では,モデル認知能力と評価指標を統一評価パラダイムに統合することを提案する。
  論文  参考訳（メタデータ） (2023-12-06T06:27:27Z)
• Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
  トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:15:57Z)
• Turning large language models into cognitive models [0.0]
  大規模言語モデルが認知モデルに変換可能であることを示す。 これらのモデルは人間の行動の正確な表現を提供し、2つの意思決定領域において従来の認知モデルよりも優れている。 これらの結果は、大規模で事前学習されたモデルが一般的な認知モデルに適応できることを示唆している。
  論文  参考訳（メタデータ） (2023-06-06T18:00:01Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
  本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。 この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。 実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
  論文  参考訳（メタデータ） (2022-04-17T11:21:18Z)
• Performance or Trust? Why Not Both. Deep AUC Maximization with Self-Supervised Learning for COVID-19 Chest X-ray Classifications [72.52228843498193]
  ディープラーニングモデルのトレーニングでは、パフォーマンスと信頼の間に妥協をしなければなりません。 本研究は、新型コロナウイルス患者のコンピュータ支援スクリーニングのための自己教師型学習と新しい代理損失を統合したものである。
  論文  参考訳（メタデータ） (2021-12-14T21:16:52Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Learning to See before Learning to Act: Visual Pre-training for Manipulation [48.731528716324355]
  視覚タスクの事前学習は、物体を操作するための学習の一般化とサンプル効率を大幅に向上させる。 本稿では,モデルパラメータを視覚ネットワークからアベイランス予測ネットワークへ直接転送することで,ゼロショット適応が成功することを示す。 ほんの少しのロボット経験があれば、より優れた結果を得るために、余分なモデルをさらに微調整できる。
  論文  参考訳（メタデータ） (2021-07-01T17:58:37Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。