論文の概要: Adapting to Online Distribution Shifts in Deep Learning: A Black-Box Approach

• arxiv url: http://arxiv.org/abs/2504.07261v1
• Date: Wed, 09 Apr 2025 20:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:20:00.036952
• Title: Adapting to Online Distribution Shifts in Deep Learning: A Black-Box Approach
• Title（参考訳）: ディープラーニングにおけるオンライン配信のシフトに適応する:ブラックボックスアプローチ
• Authors: Dheeraj Baby, Boran Han, Shuai Zhang, Cuixiong Hu, Yuyang Wang, Yu-Xiang Wang,
• Abstract要約: 本研究では、バッチにデータが到着し、各バッチの分布が時間とともに任意に変化するという、オンライン配信シフトのモチベーションの高い問題について検討する。 シフトは、大きく、小さく、突然、あるいは徐々に変化する可能性があるため、そこから学ぶべき関連する歴史的データの長さは、時間とともに変化する可能性がある。 本稿では,任意のネットワークアーキテクチャとオンライン学習者(OL)アルゴリズムを入力とし,与えられたOLの性能を確実に向上させるメタアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 20.651502595024066
• License:
• Abstract: We study the well-motivated problem of online distribution shift in which the data arrive in batches and the distribution of each batch can change arbitrarily over time. Since the shifts can be large or small, abrupt or gradual, the length of the relevant historical data to learn from may vary over time, which poses a major challenge in designing algorithms that can automatically adapt to the best ``attention span'' while remaining computationally efficient. We propose a meta-algorithm that takes any network architecture and any Online Learner (OL) algorithm as input and produces a new algorithm which provably enhances the performance of the given OL under non-stationarity. Our algorithm is efficient (it requires maintaining only $O(\log(T))$ OL instances) and adaptive (it automatically chooses OL instances with the ideal ``attention'' length at every timestamp). Experiments on various real-world datasets across text and image modalities show that our method consistently improves the accuracy of user specified OL algorithms for classification tasks. Key novel algorithmic ingredients include a \emph{multi-resolution instance} design inspired by wavelet theory and a cross-validation-through-time technique. Both could be of independent interest.
• Abstract（参考訳）: 本研究では、バッチにデータが到着し、各バッチの分布が時間とともに任意に変化するという、オンライン配信シフトのモチベーションの高い問題について検討する。 シフトは、大きく、小さく、突然、あるいは徐々に変化する可能性があるため、関連する歴史的データの長さは、時間とともに変化する可能性があるため、計算効率を保ちながら、最高の‘アテンションスパン’に自動的に適応できるアルゴリズムを設計する上で、大きな課題となる。 本稿では,任意のネットワークアーキテクチャと任意のオンライン学習者(OL)アルゴリズムを入力とするメタアルゴリズムを提案する。 我々のアルゴリズムは効率が良く($O(\log(T))$ OLインスタンスのみをメンテナンスする必要がある)、適応性(各タイムスタンプで理想的な `<attention''' の長さを持つ OL インスタンスを自動的に選択する)です。 テキストと画像のモダリティにまたがる様々な実世界のデータセット実験により,本手法は,分類タスクにおけるユーザ指定OLアルゴリズムの精度を一貫して向上することを示した。 アルゴリズムの鍵となる要素は、ウェーブレット理論にインスパイアされた 'emph{multi- resolution instance} 設計とクロスバリデーション・スルータイム技術である。 どちらも独立した関心事である。

関連論文リスト

• AutoAL: Automated Active Learning with Differentiable Query Strategy Search [18.23964720426325]
  本研究は, AutoAL という,最初の識別可能な能動学習戦略探索手法を提案する。 任意のタスクに対して、SearchNetとFitNetはラベル付きデータを使って反復的に最適化され、そのタスクで候補ALアルゴリズムのセットがどれだけうまく機能するかを学ぶ。 AutoALは、すべての候補ALアルゴリズムや他の選択ALアプローチと比較して、常に優れた精度を達成する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:09Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Learning with Differentiable Algorithms [6.47243430672461]
  この論文は、古典的なアルゴリズムとニューラルネットワークのような機械学習システムを組み合わせることを探求している。 この論文はアルゴリズムの監督という概念を定式化し、ニューラルネットワークがアルゴリズムから、あるいは、アルゴリズムと連動して学ぶことを可能にする。 さらに、この論文では、微分可能なソートネットワーク、微分可能なソートゲート、微分可能な論理ゲートネットワークなど、微分可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-01T17:30:00Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• GLISTER: Generalization based Data Subset Selection for Efficient and Robust Learning [11.220278271829699]
  GeneraLIzationベースのデータSubset selecTion for Efficient and Robust LearningフレームワークであるGlisterを紹介します。 パラメータ更新とともに反復的にデータ選択を行う反復オンラインアルゴリズムglister-onlineを提案する。 筆者らのフレームワークは,(a) と (c) の場合に) 効率, 精度の両面で向上し, 他の最先端の堅牢な学習アルゴリズムと比較して, より効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-19T08:41:34Z)
• Discovering Reinforcement Learning Algorithms [53.72358280495428]
  強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。 本稿では,更新ルール全体を検出するメタラーニング手法を提案する。 これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
  論文  参考訳（メタデータ） (2020-07-17T07:38:39Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。