論文の概要: Training Adaptive Computation for Open-Domain Question Answering with Computational Constraints

• arxiv url: http://arxiv.org/abs/2107.02102v1
• Date: Mon, 5 Jul 2021 15:48:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 15:23:14.292030
• Title: Training Adaptive Computation for Open-Domain Question Answering with Computational Constraints
• Title（参考訳）: 計算制約付きオープンドメイン質問応答のための適応計算の訓練
• Authors: Yuxiang Wu, Pasquale Minervini, Pontus Stenetorp, Sebastian Riedel
• Abstract要約: Adaptive Passageは既存のODQAモデルに適用可能なACメソッドであり、単一のGPU上で効率的にトレーニングすることができる。 実験結果から,本手法は2つのデータセットの最先端モデルにより改善されていることが示された。
• 参考スコア（独自算出の注目度）: 23.9161857473912
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Adaptive Computation (AC) has been shown to be effective in improving the efficiency of Open-Domain Question Answering (ODQA) systems. However, current AC approaches require tuning of all model parameters, and training state-of-the-art ODQA models requires significant computational resources that may not be available for most researchers. We propose Adaptive Passage Encoder, an AC method that can be applied to an existing ODQA model and can be trained efficiently on a single GPU. It keeps the parameters of the base ODQA model fixed, but it overrides the default layer-by-layer computation of the encoder with an AC policy that is trained to optimise the computational efficiency of the model. Our experimental results show that our method improves upon a state-of-the-art model on two datasets, and is also more accurate than previous AC methods due to the stronger base ODQA model. All source code and datasets are available at https://github.com/uclnlp/APE.
• Abstract（参考訳）: Adaptive Computation (AC) はオープンドメイン質問回答システム(ODQA)の効率向上に有効であることが示されている。 しかしながら、現在のACアプローチでは、全てのモデルパラメータのチューニングが必要であり、最先端のODQAモデルのトレーニングには、ほとんどの研究者では利用できない重要な計算資源が必要である。 本稿では,既存のodqaモデルに適用可能で,単一のgpu上で効率的にトレーニング可能なac方式であるadaptive passage encoderを提案する。 基本odqaモデルのパラメータは固定されているが、モデルの計算効率を最適化するように訓練されたacポリシーでエンコーダの既定の層別計算をオーバーライドする。 実験結果から,本手法は2つのデータセットの最先端モデルにより改善され,より強力な基盤ODQAモデルにより,従来のAC法よりも精度が高いことがわかった。 すべてのソースコードとデータセットはhttps://github.com/uclnlp/APEで入手できる。

関連論文リスト

• Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
  本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。 ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。 ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
  論文  参考訳（メタデータ） (2024-10-15T17:47:44Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Data-Driven Stochastic AC-OPF using Gaussian Processes [0.0]
  この論文は、交流電流(AC)制約(CC)パワーフロー(OPF)問題を解決するために、機械学習に基づくデータ駆動アルゴリズムの開発に焦点を当てている。
  論文  参考訳（メタデータ） (2024-02-17T19:30:33Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Chain-of-Skills: A Configurable Model for Open-domain Question Answering [79.8644260578301]
  検索モデルは、現実世界の知識集約的なタスクに欠かせない要素である。 最近の研究はカスタマイズされたメソッドに焦点を合わせ、モデルの転送可能性とスケーラビリティを制限している。 本稿では,各モジュールがデータセット間で再利用可能なキースキルに対応するモジュールレトリバーを提案する。
  論文  参考訳（メタデータ） (2023-05-04T20:19:39Z)
• Adaptive Sparse Gaussian Process [0.0]
  これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。 まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。 そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
  論文  参考訳（メタデータ） (2023-02-20T21:34:36Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks [78.62086125399831]
  本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。 AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。 AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
  論文  参考訳（メタデータ） (2021-06-23T13:23:00Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• SOTERIA: In Search of Efficient Neural Networks for Private Inference [15.731520890265545]
  マシンラーニング・アズ・ア・サービス(ML-as-a-service)は、クラウドサーバがトレーニングされたモデルをホストし、ユーザに対して予測(推論)サービスを提供することで人気が高まっている。 この設定では、ユーザの入力クエリと、サーバのモデルパラメータの両方の機密性を保護することが目的である。 本稿では,個人推論に効率的に設計できるモデルアーキテクチャを構築するための訓練手法であるSOTERIAを提案する。
  論文  参考訳（メタデータ） (2020-07-25T13:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。