論文の概要: Beyond receptive fields: sequence-pooled normalization can supply most of a sequence labeler's context
- arxiv url: http://arxiv.org/abs/2608.18576v1
- Date: Wed, 19 Aug 2026 06:16:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.302215
- Title: Beyond receptive fields: sequence-pooled normalization can supply most of a sequence labeler's context
- Title（参考訳）: 受容場を超えて:シーケンスプール正規化はシーケンスラベルのコンテキストの大部分を供給できる
- Abstract要約: 正規化層が推論時のシーケンスに沿った現在の入力から統計を計算すると、それらの統計はシーケンススパンニングパスを開きます。
トレーニングされたネットワークの受信フィールド拡大ブロックがパスの一部を横切ることを非難する。
- 参考スコア（独自算出の注目度）: 1.3724058650748032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A convolutional sequence labeler's receptive field is routinely treated as the extent of the model's usable context: it sets dilation schedules, bounds streaming horizons, and underwrites locality claims. However, we show that this can be false: when a normalization layer computes statistics from the current input along the sequence at inference, those statistics open a sequence-spanning path that bypasses the convolutional receptive field to provide global context. We derive this from the layer's Jacobian (the criterion needs no experiment), and what the path carries has a closed form. On a synthetic labeling process with computable optima, the global summary that a sequence-spanning normalization encodes already supplies almost all of what a larger receptive field would buy where labels come in long runs: a network reaching 9 positions comes within 0.009 of the whole-sequence optimum, against a near-chance bound for its reach. Closing the path, by taking the same statistics per position, multiplies what enlarging the receptive field is worth by up to an order of magnitude on simulated genomes at every difficulty level tested and on real 1000 Genomes haplotypes. The same path also confounds attribution: ablating a trained network's receptive-field-enlarging blocks severs part of the path, overstating their contribution 8.3-16.1-fold relative to retraining from scratch. The substitution of normalization for receptive field fades as labels switch more often. Where labels run long, neither the receptive-field justification nor the ablation is wrong about its numbers, but both credit the wrong component.
- Abstract（参考訳）: 畳み込みシーケンスラベリングの受容フィールドは、モデルが使用可能なコンテキストの範囲として定期的に扱われ、拡張スケジュールを設定し、ストリーミング水平線を制限し、ローカリティクレームをアンダーライトする。
正規化層が推論時のシーケンスに沿った現在の入力から統計を計算した場合、それらの統計は畳み込み受容場をバイパスしてグローバルなコンテキストを提供するシーケンススパンニングパスを開く。
これは層のヤコビアン(基準は実験を必要とせず、経路が持つものは閉形式である)から導かれる。
計算可能な最適値を持つ合成ラベリングプロセスにおいて、シーケンススパンニング正規化エンコード(英語版)は、大きめの受容場が長い範囲でラベルを取得できる場所のほとんど全てを既に供給している。
経路を閉じると、位置ごとに同じ統計を採り、シミュレートされたゲノムのあらゆる難易度と実際の1000個のゲノムのハプロタイプに対して、受容領域を拡大する価値を最大で1桁まで乗算する。
トレーニングされたネットワークの受信フィールド拡大ブロックがパスの一部を切り離し、そのコントリビューション8.3-16.1フォールドをスクラッチからリトレーニングすることに対してオーバースタットする。
受容場に対する正規化の置換はラベルがより頻繁に変わるにつれて消える。
ラベルが長い場合、受信フィールドの正当性もアブレーションもその数字には間違っているが、どちらも間違った要素を信用している。
関連論文リスト
- Right Regions, Wrong Labels: Semantic Label Flips in Segmentation under Correlation Shift [36.96633404761302]
間違ったセマンティックラベルを割り当てている間に、モデルが合理的に重複する可能性があることを示す。
簡単な診断(フリップ)で定量化して、真理前景の画素が間違った前景のアイデンティティに割り当てられる頻度をカウントする。
論文 参考訳（メタデータ） (2026-04-14T22:15:17Z) - DynLP: Parallel Dynamic Batch Update for Label Propagation in Semi-Supervised Learning [10.048367797959896]
半教師付き学習は,少数のラベル付きデータのみを用いて,クラスラベルを推論することを目的としている。
グラフベースの学習では、通常はラベルの伝搬によってラベルのないノードのラベルを予測する。
現実世界のアプリケーションでは、データはバッチで漸進的に到着することが多い。
論文 参考訳（メタデータ） (2026-04-08T02:29:49Z) - Gated Removal of Normalization in Transformers Enables Stable Training and Efficient Inference [2.1665689529884697]
RMSNorm/LayerNormをドロップインで置き換えたTaperNormを紹介します。
1つのグローバルゲートは、ゲートウォームアップ中に$g=1$で保持され、EMAを介してスケーリングブランチをキャリブレーションし、コサインデケイを$g=0$にする。
マイクロベンチマークでは、折りたたみ内部のスケーリングは、ラスト・トーケン・ロジット・モードで最大1.22倍のスループットを得る。
論文 参考訳（メタデータ） (2026-02-11T01:40:34Z) - Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
深部異方性回帰における自己教師付き共分散推定について検討する。
正規分布の間の2-ワッサーシュタイン距離の上界を導出する。
幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
論文 参考訳（メタデータ） (2025-02-14T22:37:11Z) - Generating Unbiased Pseudo-labels via a Theoretically Guaranteed
Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。
本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。
チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
論文 参考訳（メタデータ） (2023-11-03T08:39:35Z) - Adaptive Label Smoothing To Regularize Large-Scale Graph Training [46.00927775402987]
本研究では, 適応ラベル平滑化法 (ALS) を提案する。
ALSはノードラベルを伝播して、前処理ステップで近隣ラベルの分布を集約し、その後、最適なスムーズなラベルをオンラインで更新して、特定のグラフ構造に適合させる。
論文 参考訳（メタデータ） (2021-08-30T23:51:31Z) - RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
ラベルのないデータを利用して一般化境界を生成する手法を紹介します。
境界が0-1経験的リスク最小化に有効であることを証明します。
この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
論文 参考訳（メタデータ） (2021-05-01T17:05:29Z) - Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。
そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
論文 参考訳（メタデータ） (2020-10-23T08:33:04Z) - Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。
ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
論文 参考訳（メタデータ） (2020-06-17T17:51:42Z) - Multi-label Stream Classification with Self-Organizing Maps [2.055054374525828]
ラベルを無限に遅延させたマルチラベルストリーム分類のための自己組織化マップに基づくオンラインインクリメンタル手法を提案する。
分類段階では、k-アネレス近傍の戦略を用いて、地図の勝利したニューロンを計算する。
我々は,各インスタンスのラベルをベイズ則と各ニューロンの出力を用いて予測し,ストリーム内のクラスの確率と条件付き確率に適応する。
論文 参考訳（メタデータ） (2020-04-20T15:52:38Z) - Towards Discriminability and Diversity: Batch Nuclear-norm Maximization
under Label Insufficient Situations [154.51144248210338]
Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。
BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
論文 参考訳（メタデータ） (2020-03-27T05:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。