論文の概要: Adaptive Computation with Elastic Input Sequence

• arxiv url: http://arxiv.org/abs/2301.13195v2
• Date: Sat, 3 Jun 2023 06:19:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 03:17:08.447709
• Title: Adaptive Computation with Elastic Input Sequence
• Title（参考訳）: 弾性入力列を用いた適応計算
• Authors: Fuzhao Xue, Valerii Likhosherstov, Anurag Arnab, Neil Houlsby, Mostafa Dehghani, Yang You
• Abstract要約: 本稿では、適応テープトークンによるニューラルネットワークの動的計算を可能にするAdaTapeを紹介する。 AdaTapeは動的リード・アンド・ライトテープでアーキテクチャを装備することで、弾性的な入力シーケンスを利用する。 AdaTapeは計算コストを抑えながら性能を向上できることを示す。
• 参考スコア（独自算出の注目度）: 42.57757185043949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans have the ability to adapt the type of information they use, the procedure they employ, and the amount of time they spend when solving problems. However, most standard neural networks have a fixed function type and computation budget regardless of the sample's nature or difficulty. Adaptivity is a powerful paradigm as it not only imbues practitioners with flexibility pertaining to the downstream usage of these models but can also serve as a powerful inductive bias for solving certain challenging classes of problems. In this work, we introduce a new approach called AdaTape, which allows for dynamic computation in neural networks through adaptive tape tokens. AdaTape utilizes an elastic input sequence by equipping an architecture with a dynamic read-and-write tape. Specifically, we adaptively generate input sequences using tape tokens obtained from a tape bank which can be either trainable or derived from input data. We examine the challenges and requirements to obtain dynamic sequence content and length, and propose the Adaptive Tape Reading (ATR) algorithm to achieve both goals. Through extensive experiments on image recognition tasks, we show that AdaTape can achieve better performance while maintaining the computational cost. To facilitate further research, we have released code at https://github.com/google-research/scenic.
• Abstract（参考訳）: 人間は、使用する情報の種類、採用する手順、問題解決に費やす時間に適応する能力を持っている。 しかしながら、ほとんどの標準ニューラルネットワークは、サンプルの性質や難易度に関わらず、固定関数型と計算予算を有する。 適応性は、これらのモデルの下流の使用に関する柔軟性を実践者に与えるだけでなく、ある種の困難な問題を解決するための強力な帰納的バイアスとしても役立つため、強力なパラダイムである。 本稿では,アダプティブテープトークンによるニューラルネットワークの動的計算を可能にする,adatapeと呼ばれる新しい手法を提案する。 AdaTapeは動的リード・アンド・ライトテープでアーキテクチャを装備することで弾性入力シーケンスを利用する。 具体的には、テープバンクから得られたテープトークンを用いて、入力データからトレーニング可能または導出可能な入力シーケンスを適応的に生成する。 本稿では,動的シーケンスの内容と長さを求めるための課題と要件について検討し,両目的を達成するための適応テープ読み取り(atr)アルゴリズムを提案する。 画像認識タスクの広範な実験を通して、AdaTapeは計算コストを維持しながら、より良い性能を実現することができることを示す。 さらなる研究を容易にするために、我々はhttps://github.com/google-research/scenicでコードをリリースした。

関連論文リスト

• iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation [15.97351561456467]
  本稿では,iConFormerと呼ばれる新しいPEFT手法,入出力トランスフォーマーを提案する。 インスタンスレベルの特徴変換を可能にする動的アダプタに,入出力ネットワーク(iCoN)を導入する。 具体的に言うと、iCoNは各機能に対してチャネルワイドな畳み込みカーネルを生成し、それを適応畳み込みプロセスを使って変換し、下流タスクに適したタスク固有できめ細かな詳細を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-09-04T16:06:23Z)
• AdaBrowse: Adaptive Video Browser for Efficient Continuous Sign Language Recognition [39.778958624066185]
  本稿では,入力されたビデオシーケンスから最も情報性の高いサブシーケンスを動的に選択する新しいモデル(AdaBrowse)を提案する。 AdaBrowseは1.44$times$スループットと2.12$times$より少ないFLOPで同等の精度を実現している。
  論文  参考訳（メタデータ） (2023-08-16T12:40:47Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Graph Neural Networks with Adaptive Readouts [5.575293536755126]
  異なる領域とグラフ特性にまたがる40以上のデータセットに対して,ニューラルネットワークによる読み出しの有効性を示す。 我々は、近隣の集約数と異なる畳み込み演算子の数に対して、標準読み出しよりも一貫した改善を観察する。
  論文  参考訳（メタデータ） (2022-11-09T15:21:09Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• A New Score for Adaptive Tests in Bayesian and Credal Networks [64.80185026979883]
  テストは、そのシークエンスと質問数とが、テイカーの推定スキルに基づいて動的に調整されるときに適応する。 後部確率のモードに基づいて、別のスコアの族を提示するので、説明し易い。
  論文  参考訳（メタデータ） (2021-05-25T20:35:42Z)
• Dynamic Tensor Rematerialization [11.204761128308542]
  チェックポイントにより、制限されたメモリ予算下でのディープラーニングモデルのトレーニングが可能になる。 現在のチェックポイント技術は、これらの再計算をオフラインで静的に計画し、静的グラフを仮定する。 我々は、動的リマテリアル化(DTR)を導入することで、簡単なオンラインアルゴリズムが同等のパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2020-06-17T02:49:59Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。