論文の概要: Robust Noise Attenuation via Adaptive Pooling of Transformer Outputs

• arxiv url: http://arxiv.org/abs/2506.09215v1
• Date: Tue, 10 Jun 2025 20:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.050642
• Title: Robust Noise Attenuation via Adaptive Pooling of Transformer Outputs
• Title（参考訳）: 変圧器出力の適応プールによるロバスト騒音減衰
• Authors: Greyson Brothers,
• Abstract要約: この研究は、入力ベクトルのサブセットが下流のタスク(信号)に必要な情報を含んでおり、残りはイントラクタ(ノイズ)である問題を考える。 AvgPool, MaxPool, ClsTokenといった変圧器出力を集約する標準的な手法は、入力の信号-雑音比(SNR)が変動するにつれて、性能の低下に弱い。 注意に基づく適応プーリング手法は、任意のSNRに対して導出誤差境界内で信号-最適ベクトル量子化器を近似することができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the design of pooling methods used to summarize the outputs of transformer embedding models, primarily motivated by reinforcement learning and vision applications. This work considers problems where a subset of the input vectors contains requisite information for a downstream task (signal) while the rest are distractors (noise). By framing pooling as vector quantization with the goal of minimizing signal loss, we demonstrate that the standard methods used to aggregate transformer outputs, AvgPool, MaxPool, and ClsToken, are vulnerable to performance collapse as the signal-to-noise ratio (SNR) of inputs fluctuates. We then show that an attention-based adaptive pooling method can approximate the signal-optimal vector quantizer within derived error bounds for any SNR. Our theoretical results are first validated by supervised experiments on a synthetic dataset designed to isolate the SNR problem, then generalized to standard relational reasoning, multi-agent reinforcement learning, and vision benchmarks with noisy observations, where transformers with adaptive pooling display superior robustness across tasks.
• Abstract（参考訳）: 本稿では,主に強化学習と視覚応用による変換器埋め込みモデルの出力を要約するために用いられるプーリング手法の設計について検討する。 この研究は、入力ベクトルのサブセットが下流のタスク(信号)に必要な情報を含み、残りのタスクが邪魔者(ノイズ)である問題を考える。 信号損失を最小限に抑えたベクトル量子化としてプールをフレーミングすることにより、入力の信号-雑音比(SNR)が変動するにつれて、トランスフォーマー出力(AvgPool, MaxPool, ClsToken)を集約する標準手法が性能崩壊に弱いことを示す。 次に、注意に基づく適応プーリング法により、任意のSNRに対して導出誤差境界内で信号-最適ベクトル量子化器を近似することができることを示す。 提案手法は,SNR問題を分離するために設計された合成データセットの教師あり実験により検証され,まず標準リレーショナル推論,マルチエージェント強化学習,視覚ベンチマークに一般化された。

関連論文リスト

• Robust semi-parametric signal detection in particle physics with classifiers decorrelated via optimal transport [0.20971479389679337]
  粒子物理学において、教師付き分類器は、既知の標準模型物理学から信号モデルを分離するために用いられる。 しかし、背景モデルの誤差は、信号検出手順に悪影響を及ぼす可能性がある。 本稿では,予備的な信号強調処理のみを行うために,分類器の使用方法を示す。 次に、実際の実験データのみを用いて、信号量の多いサンプルに対してバンプハントを行う。
  論文  参考訳（メタデータ） (2024-09-10T10:32:21Z)
• Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
  一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。 本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。 我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
  論文  参考訳（メタデータ） (2023-10-09T11:26:58Z)
• Transformers as Meta-Learners for Implicit Neural Representations [10.673855995948736]
  Inlicit Neural Representations (INRs) は近年、離散表現よりもその利点を示してきた。 InRのハイパーネットとしてTransformerを利用する定式化を提案し,INRの重みの集合を直接構築する。 本稿では,3次元オブジェクトに対する2次元画像回帰とビュー合成を含む,異なるタスクや領域でINRを構築するための手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-08-04T17:54:38Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Adaptive Low-Pass Filtering using Sliding Window Gaussian Processes [71.23286211775084]
  ガウス過程回帰に基づく適応型低域通過フィルタを提案する。 本研究では,提案手法の誤差が一様境界であることを示す。
  論文  参考訳（メタデータ） (2021-11-05T17:06:59Z)
• Adaptive filters for the moving target indicator system [10.152838128195468]
  適応アルゴリズムの収束性を改善する2つの手法を提案する。 提案手法は, 干渉プラスノイズ比 (SINR) に対する経験的信号に基づく。 シミュレーションデータを用いてその効果を示す。
  論文  参考訳（メタデータ） (2020-12-31T04:22:55Z)
• Rethinking Transformer-based Set Prediction for Object Detection [57.7208561353529]
  実験の結果,提案手法は元のDETRよりもはるかに高速に収束するだけでなく,検出精度の点でDTRや他のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2020-11-21T21:59:42Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。