論文の概要: Interpolated-MLPs: Controllable Inductive Bias

• arxiv url: http://arxiv.org/abs/2410.09655v1
• Date: Sat, 12 Oct 2024 21:20:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 08:56:21.511074
• Title: Interpolated-MLPs: Controllable Inductive Bias
• Title（参考訳）: 補間MLP:制御可能な誘導バイアス
• Authors: Sean Wu, Jordan Hong, Keyu Bai, Gregor Bachmann,
• Abstract要約: 近年の研究では、インダクティブバイアスの量を変えることなく計算量が増加するにつれて、性能ギャップが劇的に減少することが示されている。 帰納バイアスを定量化するために、補間(I-MLP)という「ソフト」アプローチを提案する。 CNNとMixerの先行モデルを用いた場合,低演算系における視覚タスクに対しては,帰納的バイアスと性能との間に連続的・二面対数関係があることが実験的に明らかになった。
• 参考スコア（独自算出の注目度）: 10.074626918268837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to their weak inductive bias, Multi-Layer Perceptrons (MLPs) have subpar performance at low-compute levels compared to standard architectures such as convolution-based networks (CNN). Recent work, however, has shown that the performance gap drastically reduces as the amount of compute is increased without changing the amount of inductive bias. In this work, we study the converse: in the low-compute regime, how does the incremental increase of inductive bias affect performance? To quantify inductive bias, we propose a "soft MLP" approach, which we coin Interpolated MLP (I-MLP). We control the amount of inductive bias in the standard MLP by introducing a novel algorithm based on interpolation between fixed weights from a prior model with high inductive bias. We showcase our method using various prior models, including CNNs and the MLP-Mixer architecture. This interpolation scheme allows fractional control of inductive bias, which may be attractive when full inductive bias is not desired (e.g. in the mid-compute regime). We find experimentally that for Vision Tasks in the low-compute regime, there is a continuous and two-sided logarithmic relationship between inductive bias and performance when using CNN and MLP-Mixer prior models.
• Abstract（参考訳）: インダクティブバイアスの弱いため、マルチ層パーセプトロン(MLP)は畳み込みベースネットワーク(CNN)のような標準アーキテクチャと比較して低スループットで性能が劣る。 しかし,近年の研究では,インダクティブバイアスの量を変えることなく計算量が増大するにつれて,性能ギャップが劇的に減少することが示されている。 本研究では,低コンピュテート状態において,帰納的バイアスの漸進的な増加がパフォーマンスに与える影響について検討する。 帰納バイアスを定量化するために,補間型MLP (Interpolated MLP) を作成した "soft MLP" アプローチを提案する。 我々は,従来のモデルからの固定重み間の補間に基づく新しいアルゴリズムを導入することにより,標準MLPにおける誘導バイアスの量を制御する。 我々は,CNN や MLP-Mixer アーキテクチャなど,様々な先行モデルを用いて提案手法を紹介する。 この補間スキームは帰納的バイアスの分数制御を可能にし、完全な帰納的バイアスが望まれない場合(例えば、中間計算系では)は魅力的である。 CNNとMLP-Mixerの先行モデルを用いた場合,低演算系における視覚タスクに対しては,帰納的バイアスと性能との間に連続的・二面対数関係があることが実験的に明らかになった。

関連論文リスト

• Dynamic Negative Guidance of Diffusion Models [13.873685216429868]
  負のプロンプティング(NP)は、一定の指導尺度の仮定によって制限されていることを示す。 我々は、ほぼ最適時間とガイダンスの状態依存変調に依存する、Dynamic Negative Guidanceと呼ばれる原則的手法を導出する。 以上の結果から,DNGを安定拡散法を用いてNPよりも正確で侵襲的なガイダンスを得ることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-18T12:02:21Z)
• The Gaps between Pre-train and Downstream Settings in Bias Evaluation and Debiasing [74.7319697510621]
  In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。 ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
  論文  参考訳（メタデータ） (2024-01-16T17:15:08Z)
• SIP: Injecting a Structural Inductive Bias into a Seq2Seq Model by Simulation [75.14793516745374]
  本稿では, 構造的帰納バイアスをセック2セックモデルに効率よく注入し, 合成データの構造的変換をシミュレートする方法について述べる。 実験の結果,本手法は所望の帰納バイアスを付与し,FSTのようなタスクに対してより優れた数発学習を実現することがわかった。
  論文  参考訳（メタデータ） (2023-10-01T21:19:12Z)
• Model-tuning Via Prompts Makes NLP Models Adversarially Robust [97.02353907677703]
  Model-tuning Via Prompts (MVP) による対向的ロバスト性の評価 MVPは、標準的な方法よりも平均8%の性能向上を実現している。 また,これらの利得の基盤となるメカニズムの解明も行なっている。
  論文  参考訳（メタデータ） (2023-03-13T17:41:57Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• Towards Flexible Inductive Bias via Progressive Reparameterization Scheduling [25.76814731638375]
  コンピュータビジョンには、畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)の2つのデファクト標準アーキテクチャがある。 これらのアプローチの見落としとして、最適な帰納バイアスも、対象データスケールの変化に応じて変化することを示す。 畳み込みのような帰納バイアスがモデルに含まれるほど、ViTのようなモデルがResNetのパフォーマンスを上回っている場合、データスケールが小さくなります。
  論文  参考訳（メタデータ） (2022-10-04T04:20:20Z)
• Unraveling Attention via Convex Duality: Analysis and Interpretations of Vision Transformers [52.468311268601056]
  本稿では凸双対性のレンズを通して注意を解析する。 我々は、大域的最適性に対して解釈可能で解ける等価な有限次元凸問題を導出する。 自己認識ネットワークがトークンを暗黙的にクラスタリングする方法を示す。
  論文  参考訳（メタデータ） (2022-05-17T04:01:15Z)
• How Gender Debiasing Affects Internal Model Representations, and Why It Matters [26.993273464725995]
  内因性バイアスは、標準のWEAT測定値よりもデバイアスの指標として優れていることを示す。 当社のフレームワークは,NLPモデルのバイアスを包括的に把握し,より情報のある方法でNLPシステムのデプロイに適用することができる。
  論文  参考訳（メタデータ） (2022-04-14T08:54:15Z)
• Fast rates for noisy interpolation require rethinking the effects of inductive bias [8.946655323517092]
  高次元データヒンジの優れた一般化性能は、基底真理の単純な構造と推定器の強い帰納バイアスに基づく。 以上の結果から, より強い帰納バイアスは, 基礎的事実とより整合したより単純な構造を奨励するが, 騒音による有害効果も増大させることが示された。
  論文  参考訳（メタデータ） (2022-03-07T18:44:47Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。