論文の概要: Adam Simplified: Bias Correction Simplified

• arxiv url: http://arxiv.org/abs/2511.20516v1
• Date: Tue, 25 Nov 2025 17:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.574127
• Title: Adam Simplified: Bias Correction Simplified
• Title（参考訳）: Adam Simplified: Bias Correction Simplified
• Authors: Sam Laing, Antonio Orvieto,
• Abstract要約: 本稿では, バイアス補正の役割について考察する。 視覚と言語モデリングタスクに関する一連の体系的な説明を通じて、偏見補正を取り巻く従来の知恵が誤解を招くことを実証する。
• 参考スコア（独自算出の注目度）: 17.2249234816671
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Adam optimizer is a cornerstone of modern deep learning, yet the empirical necessity of each of its individual components is often taken for granted. This paper presents a focused investigation into the role of bias-correction, a feature whose contribution remains poorly understood. Through a series of systematic ablations on vision and language modelling tasks, we demonstrate that the conventional wisdom surrounding bias correction is misleading. In particular, we demonstrate that in the optimal hyper-parameter configuration, the inclusion of bias correction leads to no improvement in final test performance. Moreover, unless appropriate learning rate scheduling is implemented, the inclusion of bias correction can sometimes be detrimental to performance. We further reinterpret bias correction as a form of implicit learning rate scheduling whose behaviour is strongly dependent on the choice of smoothing hyper-parameters $β_1, β_2 \in [0,1)$. Our findings challenge the universal inclusion of this component.
• Abstract（参考訳）: アダム・オプティマイザは現代のディープラーニングの基盤となっているが、個々のコンポーネントの実証的な必要性はしばしば認められている。 本稿では, 偏差補正の役割について考察する。 視覚と言語モデリングタスクに関する一連の体系的な説明を通じて、偏見補正を取り巻く従来の知恵が誤解を招くことを実証する。 特に,最適なハイパーパラメータ構成では,バイアス補正が適用されて最終試験性能が向上しないことを示す。 さらに、適切な学習率スケジューリングが実施されない限り、バイアス補正の実施は性能に有害な場合もある。 さらに、バイアス補正を暗黙的な学習率スケジューリングの一形態として解釈し、その振る舞いは超パラメータを滑らかにすることの選択に強く依存する。 我々の発見は、この成分の普遍的な含意に挑戦する。

関連論文リスト

• Selective Mixup for Debiasing Question Selection in Computerized Adaptive Testing [50.805231979748434]
  コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、オンライン教育プラットフォームにおける学習者の習熟度を評価する技術である。 選択バイアスは、質問選択が推定された熟練度に強く影響されるため生じる。 本稿では,Cross-Attribute Examinee RetrievalとSelective Mixup-based Regularizationの2つの主要なモジュールからなるデバイアス化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-19T08:55:01Z)
• Optimal Information Combining for Multi-Agent Systems Using Adaptive Bias Learning [0.0]
  現在のアプローチでは、これらのバイアスを無視し、最適以下の決定につながるか、あるいは実際は不可能な高価なキャリブレーション手順を必要とする。 本稿は,これらの未知のバイアスをいつ学習し,正し,ほぼ最適性能を回復できるか,という根本的な問題に対処する。 バイアスを学習可能な体系的構成要素と既約コンポーネントに分解する理論的枠組みを開発する。 学習容易度が高いシステムは高い性能を回復できるが,学習可能性の低いシステムは最小限の利益を得られることを示す。
  論文  参考訳（メタデータ） (2025-10-28T21:52:33Z)
• Debiasify: Self-Distillation for Unsupervised Bias Mitigation [19.813054813868476]
  単純性バイアスはニューラルネットワークにおいて重要な課題となり、しばしばモデルがより単純な解を好んで、急激な相関による決定規則を不注意に学習する。 バイアスの性質に関する事前の知識を必要としない新しい自己蒸留アプローチであるDebiasifyを紹介します。 提案手法は, 複雑で高精度な特徴を含む深い層から, より単純な特性条件を持つ浅層へと, ネットワーク内の知識を伝達するために, 新たな蒸留損失を生かしている。
  論文  参考訳（メタデータ） (2024-11-01T16:25:05Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
  クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。 本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。 我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
  論文  参考訳（メタデータ） (2023-08-27T19:01:29Z)
• Ensembling over Classifiers: a Bias-Variance Perspective [13.006468721874372]
  Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。 条件付き推定は必然的に既約誤差を生じさせることを示す。 経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
  論文  参考訳（メタデータ） (2022-06-21T17:46:35Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Automating Control of Overestimation Bias for Continuous Reinforcement Learning [65.63607016094305]
  バイアス補正を導くためのデータ駆動型手法を提案する。 我々は、最先端の連続制御アルゴリズムであるTrncated Quantile Criticsにおいて、その効果を実証する。
  論文  参考訳（メタデータ） (2021-10-26T09:27:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。