論文の概要: Adaptive Computation with Elastic Input Sequence

• arxiv url: http://arxiv.org/abs/2301.13195v1
• Date: Mon, 30 Jan 2023 18:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 13:11:27.749672
• Title: Adaptive Computation with Elastic Input Sequence
• Title（参考訳）: 弾性入力列を用いた適応計算
• Authors: Fuzhao Xue, Valerii Likhosherstov, Anurag Arnab, Neil Houlsby, Mostafa Dehghani, Yang You
• Abstract要約: 本稿では,適応テープトークンによるニューラルネットワークの動的計算を可能にする新しい戦略であるAdaTapeを提案する。 AdaTapeは、既存のアーキテクチャに動的リード・アンド・ライトテープを装着することで、弾性的な入力シーケンスを使用する。 AdaTapeは計算コストを抑えながら性能を向上できることを示す。
• 参考スコア（独自算出の注目度）: 42.57757185043949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When solving a problem, human beings have the adaptive ability in terms of the type of information they use, the procedure they take, and the amount of time they spend approaching and solving the problem. However, most standard neural networks have the same function type and fixed computation budget on different samples regardless of their nature and difficulty. Adaptivity is a powerful paradigm as it not only imbues practitioners with flexibility pertaining to the downstream usage of these models but can also serve as a powerful inductive bias for solving certain challenging classes of problems. In this work, we propose a new strategy, AdaTape, that enables dynamic computation in neural networks via adaptive tape tokens. AdaTape employs an elastic input sequence by equipping an existing architecture with a dynamic read-and-write tape. Specifically, we adaptively generate input sequences using tape tokens obtained from a tape bank that can either be trainable or generated from input data. We analyze the challenges and requirements to obtain dynamic sequence content and length, and propose the Adaptive Tape Reader (ATR) algorithm to achieve both objectives. Via extensive experiments on image recognition tasks, we show that AdaTape can achieve better performance while maintaining the computational cost.
• Abstract（参考訳）: 問題を解決する際には、人間が使用する情報の種類、必要な手順、アプローチと解決に費やす時間といった面で適応的な能力を持つ。 しかし、ほとんどの標準ニューラルネットワークは、その性質や難易度に関わらず、異なるサンプルに対して同じ関数型と固定された計算予算を持つ。 適応性は、これらのモデルの下流の使用に関する柔軟性を実践者に与えるだけでなく、ある種の困難な問題を解決するための強力な帰納的バイアスとしても役立つため、強力なパラダイムである。 本研究では,適応テープトークンを用いたニューラルネットワークの動的計算を可能にする新しい戦略であるAdaTapeを提案する。 adatapeは、動的な読み書きテープを既存のアーキテクチャに装備することで、弾力的な入力シーケンスを採用している。 具体的には,入力データから学習可能あるいは生成可能なテープバンクから取得したテープトークンを用いて,入力シーケンスを適応的に生成する。 動的シーケンスの内容と長さを得るための課題と要件を分析し、両方の目的を達成するための適応型テープリーダー(ATR)アルゴリズムを提案する。 画像認識タスクに関する広範な実験を通じて,adatapeは計算コストを維持しつつ,よりよい性能を実現することができることを示した。

関連論文リスト

• iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation [15.97351561456467]
  本稿では,iConFormerと呼ばれる新しいPEFT手法,入出力トランスフォーマーを提案する。 インスタンスレベルの特徴変換を可能にする動的アダプタに,入出力ネットワーク(iCoN)を導入する。 具体的に言うと、iCoNは各機能に対してチャネルワイドな畳み込みカーネルを生成し、それを適応畳み込みプロセスを使って変換し、下流タスクに適したタスク固有できめ細かな詳細を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-09-04T16:06:23Z)
• AdaBrowse: Adaptive Video Browser for Efficient Continuous Sign Language Recognition [39.778958624066185]
  本稿では,入力されたビデオシーケンスから最も情報性の高いサブシーケンスを動的に選択する新しいモデル(AdaBrowse)を提案する。 AdaBrowseは1.44$times$スループットと2.12$times$より少ないFLOPで同等の精度を実現している。
  論文  参考訳（メタデータ） (2023-08-16T12:40:47Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Graph Neural Networks with Adaptive Readouts [5.575293536755126]
  異なる領域とグラフ特性にまたがる40以上のデータセットに対して,ニューラルネットワークによる読み出しの有効性を示す。 我々は、近隣の集約数と異なる畳み込み演算子の数に対して、標準読み出しよりも一貫した改善を観察する。
  論文  参考訳（メタデータ） (2022-11-09T15:21:09Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• A New Score for Adaptive Tests in Bayesian and Credal Networks [64.80185026979883]
  テストは、そのシークエンスと質問数とが、テイカーの推定スキルに基づいて動的に調整されるときに適応する。 後部確率のモードに基づいて、別のスコアの族を提示するので、説明し易い。
  論文  参考訳（メタデータ） (2021-05-25T20:35:42Z)
• Dynamic Tensor Rematerialization [11.204761128308542]
  チェックポイントにより、制限されたメモリ予算下でのディープラーニングモデルのトレーニングが可能になる。 現在のチェックポイント技術は、これらの再計算をオフラインで静的に計画し、静的グラフを仮定する。 我々は、動的リマテリアル化(DTR)を導入することで、簡単なオンラインアルゴリズムが同等のパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2020-06-17T02:49:59Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。