論文の概要: Hedging Is Not All You Need: A Simple Baseline for Online Learning Under Haphazard Inputs

• arxiv url: http://arxiv.org/abs/2409.10242v1
• Date: Mon, 16 Sep 2024 12:45:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 15:40:35.081306
• Title: Hedging Is Not All You Need: A Simple Baseline for Online Learning Under Haphazard Inputs
• Title（参考訳）: ヘッジは必要なものすべてではない:ハファザード入力によるオンライン学習のためのシンプルなベースライン
• Authors: Himanshu Buckchash, Momojit Biswas, Rohit Agarwal, Dilip K. Prasad,
• Abstract要約: HapNetは、スケーラブルなシンプルなベースラインであり、オンラインのバックプロパゲーションを必要としない。 この複雑なシナリオにおいても,提案手法の変種が有効であることを示す。
• 参考スコア（独自算出の注目度）: 7.738999125093431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Handling haphazard streaming data, such as data from edge devices, presents a challenging problem. Over time, the incoming data becomes inconsistent, with missing, faulty, or new inputs reappearing. Therefore, it requires models that are reliable. Recent methods to solve this problem depend on a hedging-based solution and require specialized elements like auxiliary dropouts, forked architectures, and intricate network design. We observed that hedging can be reduced to a special case of weighted residual connection; this motivated us to approximate it with plain self-attention. In this work, we propose HapNet, a simple baseline that is scalable, does not require online backpropagation, and is adaptable to varying input types. All present methods are restricted to scaling with a fixed window; however, we introduce a more complex problem of scaling with a variable window where the data becomes positionally uncorrelated, and cannot be addressed by present methods. We demonstrate that a variant of the proposed approach can work even for this complex scenario. We extensively evaluated the proposed approach on five benchmarks and found competitive performance.
• Abstract（参考訳）: エッジデバイスのデータのような、ハファザードなストリーミングデータを扱うことは、難しい問題である。 時間が経つにつれて、受信したデータは一貫性がなくなり、欠落、欠陥、あるいは新しい入力が再び現れる。 そのため、信頼性の高いモデルが必要である。 この問題を解決するための最近の手法は、ヘッジベースのソリューションに依存し、補助的なドロップアウト、フォークアーキテクチャ、複雑なネットワーク設計のような特殊な要素を必要とする。 ヘッジは, 重み付き残差接続の特殊な症例に還元され, 通常の自己注意で近似する動機となった。 本研究では、スケーラブルで、オンラインのバックプロパゲーションを必要としない、多様な入力タイプに対応可能な、シンプルなベースラインであるHapNetを提案する。 提案手法は,すべて固定ウィンドウでのスケーリングに制限されるが,本手法では,データが位置的無相関になり,対処できない変数ウィンドウでスケーリングするより複雑な問題を導入する。 この複雑なシナリオにおいても,提案手法の変種が有効であることを示す。 提案手法を5つのベンチマークで広範囲に評価し,競争性能を確認した。

関連論文リスト

• Symmetry-preserving graph attention network to solve routing problems at multiple resolutions [1.9304772860080408]
  問題解決のために,最初の完全同変モデルとトレーニングを導入する。 入力グラフのマルチスケール構造を捉えることが不可欠である。 本稿では,Equi Graph Attention Network (mEGAT) アーキテクチャと組み合わせたマルチレゾリューション方式を提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:22:20Z)
• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• Low-Rank Robust Online Distance/Similarity Learning based on the Rescaled Hinge Loss [0.34376560669160383]
  既存のオンライン手法では、トレーニング三つ子やペアの制約が事前に存在すると仮定することが多い。 オンライン距離相似学習問題を,ロバストな再スケールヒンジ損失関数を用いて定式化する。 提案モデルは比較的汎用的で,任意のPAベースのオンラインディスタンス・シミュラリティアルゴリズムに適用可能である。
  論文  参考訳（メタデータ） (2020-10-07T08:38:34Z)
• Instance exploitation for learning temporary concepts from sparsely labeled drifting data streams [15.49323098362628]
  ストリーミングデータソースからの継続的な学習がますます人気を博している。 動的で絶え間ない問題に対処することは 新たな課題を引き起こします 最も重要な制限の1つは、有限で完全なデータセットにアクセスできないことである。
  論文  参考訳（メタデータ） (2020-09-20T08:11:43Z)
• Differentiable Causal Discovery from Interventional Data [141.41931444927184]
  本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。 提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-07-03T15:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。