論文の概要: Applicability of scaling laws to vision encoding models

• arxiv url: http://arxiv.org/abs/2308.00678v1
• Date: Tue, 1 Aug 2023 17:31:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 13:21:49.285175
• Title: Applicability of scaling laws to vision encoding models
• Title（参考訳）: 視覚符号化モデルに対するスケーリング則の適用性
• Authors: Takuya Matsuyama, Kota S Sasaki, Shinji Nishimoto
• Abstract要約: 我々は,Algonauts Project 2023 Challengeへの参加の一環として,脳活動を予測する高性能視覚符号化モデルの構築方法について検討した。 この課題は、参加者が画像を見ている間、機能的MRI(fMRI)によって記録された脳活動を提供する。 86Mから4.3Bまでのパラメータサイズを持ついくつかのビジョンモデルを使用して予測モデルを構築した。
• 参考スコア（独自算出の注目度）: 0.7734726150561089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigated how to build a high-performance vision encoding model to predict brain activity as part of our participation in the Algonauts Project 2023 Challenge. The challenge provided brain activity recorded by functional MRI (fMRI) while participants viewed images. Several vision models with parameter sizes ranging from 86M to 4.3B were used to build predictive models. To build highly accurate models, we focused our analysis on two main aspects: (1) How does the sample size of the fMRI training set change the prediction accuracy? (2) How does the prediction accuracy across the visual cortex vary with the parameter size of the vision models? The results show that as the sample size used during training increases, the prediction accuracy improves according to the scaling law. Similarly, we found that as the parameter size of the vision models increases, the prediction accuracy improves according to the scaling law. These results suggest that increasing the sample size of the fMRI training set and the parameter size of visual models may contribute to more accurate visual models of the brain and lead to a better understanding of visual neuroscience.
• Abstract（参考訳）: 本稿では,Algonauts Project 2023 Challengeへの参加の一環として,脳活動を予測する高性能視覚符号化モデルの構築方法について検討した。 この課題は、参加者が画像を見ている間、機能的MRI(fMRI)によって記録された脳活動を提供する。 86Mから4.3Bまでのパラメータサイズを持ついくつかのビジョンモデルを使用して予測モデルを構築した。 高精度なモデルを構築するためには,(1)fMRIトレーニングセットのサンプルサイズが予測精度をどのように変化させるか,という2つの主な側面に注目した。 2)視覚野全体の予測精度は視覚モデルのパラメータサイズによってどのように変化するか? その結果,トレーニング中のサンプルサイズが増加すると,スケーリング則により予測精度が向上することがわかった。 同様に、視覚モデルのパラメータサイズが大きくなると、スケーリング法則に従って予測精度が向上することがわかった。 これらの結果は、fMRIトレーニングセットのサンプルサイズの増加と視覚モデルのパラメータサイズの増加が脳のより正確な視覚モデルに寄与し、視覚神経科学のより深い理解につながることを示唆している。

関連論文リスト

• Scaling Laws for Task-Optimized Models of the Primate Visual Ventral Stream [3.4526439922541705]
  霊長類視覚腹側流(VVS)のモデリングにおけるスケーリング法則の評価を行った。 行動アライメントはより大きなモデルでスケールし続けるが、ニューラルアライメントは飽和する。 スケーリングの増加は、少数のサンプルでトレーニングされた小さなモデルでは、アライメントが不十分である、高レベルの視覚領域において特に有益である。
  論文  参考訳（メタデータ） (2024-11-08T17:13:53Z)
• Scaling Laws For Dense Retrieval [22.76001461620846]
  本研究は,高密度検索モデルの性能が他のニューラルモデルと同様のスケーリング法則に従うかどうかを考察する。 その結果、我々の設定下では、高密度検索モデルの性能は、モデルサイズとアノテーション数に関連する正確なパワーロースケーリングに従っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-27T15:27:36Z)
• Understanding Calibration of Deep Neural Networks for Medical Image Classification [3.461503547789351]
  本研究では,異なるトレーニング体制下でのモデル性能とキャリブレーションについて検討する。 本研究は,完全教師付きトレーニングと,移動学習を伴わない回転型自己教師方式について考察する。 本研究では,重み分布や学習表現の類似性などの要因が,モデルで観測されるキャリブレーション傾向と相関していることを明らかにする。
  論文  参考訳（メタデータ） (2023-09-22T18:36:07Z)
• Scaling laws for language encoding models in fMRI [47.498241053872924]
  我々は、fMRIを用いて記録された脳の反応を予測するために、より大きなオープンソースモデルの方が優れているかどうかを検証した。 同様の対数行動は、fMRIトレーニングセットのサイズを拡大する際に観察された。 これらの結果は、脳内の言語処理の極めて効果的なモデルが得られることを示唆している。
  論文  参考訳（メタデータ） (2023-05-19T17:53:03Z)
• Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model [97.9548609175831]
  約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。 具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。 検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-08T09:08:40Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)
• Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
  本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。 また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
  論文  参考訳（メタデータ） (2020-07-09T13:23:15Z)
• Anatomical Predictions using Subject-Specific Medical Data [7.635279671482444]
  個人の脳MRIが時間とともにどのように変化するかを予測する手法を提案する。 予測変形場が与えられると、ベースラインスキャンをワープして、将来脳スキャンの予測を行うことができる。
  論文  参考訳（メタデータ） (2020-05-29T21:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。