論文の概要: Refining Remote Photoplethysmography Architectures using CKA and Empirical Methods

• arxiv url: http://arxiv.org/abs/2401.04801v2
• Date: Tue, 30 Apr 2024 20:54:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 20:01:24.523490
• Title: Refining Remote Photoplethysmography Architectures using CKA and Empirical Methods
• Title（参考訳）: CKAと経験的手法を用いたリモート光胸腺撮影アーキテクチャの精細化
• Authors: Nathan Vance, Patrick Flynn,
• Abstract要約: アーキテクチャ上の考慮事項、すなわちモデルの深さは、結果のパフォーマンスに重大な影響を与える可能性がある。 本稿では、Centered Kernel Alignment(CKA)を用いて、rアーキテクチャを診断として洗練する方法を示す。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model architecture refinement is a challenging task in deep learning research fields such as remote photoplethysmography (rPPG). One architectural consideration, the depth of the model, can have significant consequences on the resulting performance. In rPPG models that are overprovisioned with more layers than necessary, redundancies exist, the removal of which can result in faster training and reduced computational load at inference time. With too few layers the models may exhibit sub-optimal error rates. We apply Centered Kernel Alignment (CKA) to an array of rPPG architectures of differing depths, demonstrating that shallower models do not learn the same representations as deeper models, and that after a certain depth, redundant layers are added without significantly increased functionality. An empirical study confirms how the architectural deficiencies discovered using CKA impact performance, and we show how CKA as a diagnostic can be used to refine rPPG architectures.
• Abstract（参考訳）: モデルアーキテクチャの洗練は、リモート光胸腺撮影(rPPG)のような深層学習研究分野において難しい課題である。 アーキテクチャ上の考慮事項、すなわちモデルの深さは、結果のパフォーマンスに重大な影響を与える可能性がある。 必要以上のレイヤでオーバープロビジョンされたrPPGモデルでは、冗長性が存在し、その除去は高速なトレーニングと推論時の計算負荷の削減をもたらす。 層が多すぎると、モデルが最適以下のエラー率を示す可能性がある。 CKA(Centered Kernel Alignment)を異なる深さのrPPGアーキテクチャの配列に適用し、より浅いモデルではより深いモデルと同じ表現を学ばず、一定の深さで冗長層を追加しても機能が大きく向上しないことを示した。 実証実験により, CKAによるアーキテクチャ欠陥が性能に与える影響を確認し, 診断としてのCKAがrPPGアーキテクチャの洗練にどのように役立つかを示す。

関連論文リスト

• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Ultra Sharp : Study of Single Image Super Resolution using Residual Dense Network [0.15229257192293202]
  シングルイメージ・スーパーレゾリューション(SISR)はコンピュータビジョンにおいて興味深い問題であり、不適切な問題となっている。 従来の超高解像度イメージングアプローチには、再構築、学習に基づく方法が含まれる。 本稿では,Yhangらが開発したResidual Dense Networksアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2023-04-21T10:32:24Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Masked Image Modeling with Local Multi-Scale Reconstruction [54.91442074100597]
  Masked Image Modeling (MIM) は自己教師付き表現学習において顕著な成功を収めている。 既存のMIMモデルはエンコーダの最上層でのみ再構成タスクを実行する。 そこで我々は,下層と上層がそれぞれ微細かつ粗大な監視信号を再構成する局所的マルチスケール再構成を設計する。
  論文  参考訳（メタデータ） (2023-03-09T13:42:04Z)
• Deformable Image Registration with Deep Network Priors: a Study on Longitudinal PET Images [0.5949967357689445]
  本稿では,Deep Image Priorに触発されて,画像登録問題に取り組むためのレギュレータとして,Deep Architectureの異なる利用法を提案する。 変形場を制約する先行モデルである深層ピラミッド構造に頼って,MIRRBAと呼ばれる対象固有の変形可能な登録手法を提案する。 深層建築の正規化力を実証し,登録のための深層学習手法におけるアーキテクチャの役割を理解するための新しい要素を提示する。
  論文  参考訳（メタデータ） (2021-11-22T10:58:14Z)
• Exploring Heterogeneous Characteristics of Layers in ASR Models for More Efficient Training [1.3999481573773072]
  ランとモデルサイズにまたがるこれらの層の安定性について検討する。 群正規化は, 群形成を乱すことなく適用できる可能性が示唆された。 これらの知見をフェデレートラーニングに適用して,トレーニング手順の改善を図る。
  論文  参考訳（メタデータ） (2021-10-08T17:25:19Z)
• Scene-adaptive Knowledge Distillation for Sequential Recommendation via Differentiable Architecture Search [19.798931417466456]
  シーケンシャル・レコメンデータ・システム(SRS)は、ユーザの動的興味やシーケンシャルな行動パターンをモデル化する能力から、研究ホットスポットとなっている。 モデル表現能力を最大化するために、デフォルトの選択は、より大きく深いネットワークアーキテクチャを適用することである。 本稿では,教師モデルの知識を学生モデルに適応的に圧縮するフレームワークであるAdaRecを提案する。
  論文  参考訳（メタデータ） (2021-07-15T07:47:46Z)
• Understanding and Diagnosing Vulnerability under Adversarial Attacks [62.661498155101654]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,潜在変数の分類に使用される特徴を説明するために,新しい解釈可能性手法であるInterpretGANを提案する。 また、各層がもたらす脆弱性を定量化する最初の診断方法も設計する。
  論文  参考訳（メタデータ） (2020-07-17T01:56:28Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。