論文の概要: Inference from Real-World Sparse Measurements

• arxiv url: http://arxiv.org/abs/2210.11269v7
• Date: Mon, 15 Apr 2024 08:24:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 03:10:06.481184
• Title: Inference from Real-World Sparse Measurements
• Title（参考訳）: 実世界スパース計測からの推測
• Authors: Arnaud Pannatier, Kyle Matoba, François Fleuret,
• Abstract要約: 実世界の問題は、しばしば複雑で非構造的な測定セットが伴うが、これはセンサーが空間または時間に狭く配置されているときに起こる。 セットからセットまで様々な位置で測定セットを処理し、どこででも読み出しを抽出できるディープラーニングアーキテクチャは、方法論的に困難である。 本稿では,適用性と実用的堅牢性に着目したアテンションベースモデルを提案する。
• 参考スコア（独自算出の注目度）: 21.194357028394226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world problems often involve complex and unstructured sets of measurements, which occur when sensors are sparsely placed in either space or time. Being able to model this irregular spatiotemporal data and extract meaningful forecasts is crucial. Deep learning architectures capable of processing sets of measurements with positions varying from set to set, and extracting readouts anywhere are methodologically difficult. Current state-of-the-art models are graph neural networks and require domain-specific knowledge for proper setup. We propose an attention-based model focused on robustness and practical applicability, with two key design contributions. First, we adopt a ViT-like transformer that takes both context points and read-out positions as inputs, eliminating the need for an encoder-decoder structure. Second, we use a unified method for encoding both context and read-out positions. This approach is intentionally straightforward and integrates well with other systems. Compared to existing approaches, our model is simpler, requires less specialized knowledge, and does not suffer from a problematic bottleneck effect, all of which contribute to superior performance. We conduct in-depth ablation studies that characterize this problematic bottleneck in the latent representations of alternative models that inhibit information utilization and impede training efficiency. We also perform experiments across various problem domains, including high-altitude wind nowcasting, two-day weather forecasting, fluid dynamics, and heat diffusion. Our attention-based model consistently outperforms state-of-the-art models in handling irregularly sampled data. Notably, our model reduces the root mean square error (RMSE) for wind nowcasting from 9.24 to 7.98 and for heat diffusion tasks from 0.126 to 0.084.
• Abstract（参考訳）: 実世界の問題は、しばしば複雑で非構造的な測定セットが伴うが、これはセンサーが空間または時間に狭く配置されているときに起こる。 この不規則な時空間データをモデル化し、意味のある予測を抽出できることが不可欠である。 セットからセットまで様々な位置で測定セットを処理し、どこからでも読み出しを抽出できるディープラーニングアーキテクチャは、方法論的に困難である。 現在の最先端モデルはグラフニューラルネットワークであり、適切なセットアップのためにドメイン固有の知識を必要とする。 本稿では,ロバスト性と実用性に着目したアテンションベースモデルを提案する。 まず、コンテクストポイントと読み出し位置の両方を入力とし、エンコーダ・デコーダ構造を必要としないViTライクなトランスフォーマーを採用する。 第2に、コンテキストと読み出し位置の両方を符号化する統一的な手法を用いる。 このアプローチは意図的に単純で、他のシステムとうまく統合されています。 既存のアプローチと比較して、私たちのモデルはシンプルで、専門的な知識を必要とせず、問題のあるボトルネック効果に悩まされず、いずれも優れたパフォーマンスに寄与します。 情報利用を阻害し、訓練効率を阻害する代替モデルの潜在表現において、この問題を特徴づける詳細なアブレーション研究を行う。 また,高高度風速流,2日間の天気予報,流体力学,熱拡散などの諸問題領域についても実験を行った。 我々の注意に基づくモデルは、不規則にサンプリングされたデータを扱う際に、常に最先端のモデルより優れています。 特に,風速9.24から7.98へ,熱拡散タスク0.126から0.084へ,根平均二乗誤差(RMSE)を減少させる。

関連論文リスト

• Kriformer: A Novel Spatiotemporal Kriging Approach Based on Graph Transformers [5.4381914710364665]
  本研究は, 環境問題として, スパースセンサの配置と信頼性の低いデータに対処する。 グラフクリフォーマーモデルであるKriformerは、限られた資源であっても、空間的および時間的相関をマイニングすることで、センサのない場所でデータを推定する。
  論文  参考訳（メタデータ） (2024-09-23T11:01:18Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Time Series Representation Models [2.724184832774005]
  時系列解析は、そのスパース特性、高次元性、一貫性のないデータ品質のため、依然として大きな課題である。 近年のトランス技術の発展により,予測や計算能力が向上している。 イントロスペクションに基づく時系列解析のための新しいアーキテクチャ概念を提案する。
  論文  参考訳（メタデータ） (2024-05-28T13:25:31Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Energy networks for state estimation with random sensors using sparse labels [0.0]
  本稿では,スパースラベルから学習可能な暗黙の最適化層と物理に基づく損失関数を用いた手法を提案する。 この手法に基づいて、空間における離散的および連続的な予測のための2つのモデルを示す。
  論文  参考訳（メタデータ） (2022-03-12T15:15:38Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Fast Modeling and Understanding Fluid Dynamics Systems with Encoder-Decoder Networks [0.0]
  本研究では,有限体積シミュレータを用いて,高精度な深層学習に基づくプロキシモデルを効率的に教えることができることを示す。 従来のシミュレーションと比較して、提案したディープラーニングアプローチはより高速なフォワード計算を可能にする。 深層学習モデルの重要物理パラメータに対する感度を定量化することにより、インバージョン問題を大きな加速で解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。