論文の概要: Don't Read Too Much into It: Adaptive Computation for Open-Domain
Question Answering
- arxiv url: http://arxiv.org/abs/2011.05435v1
- Date: Tue, 10 Nov 2020 22:37:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 06:30:44.863545
- Title: Don't Read Too Much into It: Adaptive Computation for Open-Domain
Question Answering
- Title(参考訳): あまり読むな - オープンドメインの質問回答に対する適応型計算
- Authors: Yuxiang Wu, Sebastian Riedel, Pasquale Minervini, Pontus Stenetorp
- Abstract要約: Open-Domain Question Answeringへのほとんどのアプローチは、候補パスのセットを選択する軽量な検索器と、正しい回答を特定するためにパスを調べる計算コストの高い読者で構成されている。
これまでの研究では、検索されたパスの数が増加するにつれて、読み手のパフォーマンスも向上することが示されている。
そこで本稿では,読み込むパスに割り当てられる計算予算を制御するために,適応計算を用いることを提案する。
SQuAD-Openで行った結果から,グローバルな優先順位付けによる適応計算は,複数の強い静的および適応的手法よりも向上し,全モデルの95%性能を維持しつつ,計算の4.3倍の削減が達成された。
- 参考スコア(独自算出の注目度): 38.866606343807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most approaches to Open-Domain Question Answering consist of a light-weight
retriever that selects a set of candidate passages, and a computationally
expensive reader that examines the passages to identify the correct answer.
Previous works have shown that as the number of retrieved passages increases,
so does the performance of the reader. However, they assume all retrieved
passages are of equal importance and allocate the same amount of computation to
them, leading to a substantial increase in computational cost. To reduce this
cost, we propose the use of adaptive computation to control the computational
budget allocated for the passages to be read. We first introduce a technique
operating on individual passages in isolation which relies on anytime
prediction and a per-layer estimation of an early exit probability. We then
introduce SkylineBuilder, an approach for dynamically deciding on which passage
to allocate computation at each step, based on a resource allocation policy
trained via reinforcement learning. Our results on SQuAD-Open show that
adaptive computation with global prioritisation improves over several strong
static and adaptive methods, leading to a 4.3x reduction in computation while
retaining 95% performance of the full model.
- Abstract(参考訳): Open-Domain Question Answeringへのほとんどのアプローチは、候補パスのセットを選択する軽量な検索器と、正しい回答を特定するためにパスを調べる計算コストの高い読者で構成される。
以前の著作では、検索された文数が増えるにつれて、読み手のパフォーマンスも向上することを示した。
しかし、検索された全てのパスは等しく重要であり、それらに同じ量の計算を割り当てると仮定し、計算コストが大幅に増加する。
このコストを削減するため,本研究では,読み込むパスに割り当てられた計算予算を制御するための適応計算法を提案する。
まず,任意の時間予測と早期出口確率の層毎推定に依存する個別経路を分離して操作する手法を紹介する。
次に,強化学習によって訓練された資源割当方針に基づき,各ステップで計算を割り当てる経路を動的に決定する手法であるskylinebuilderを提案する。
SQuAD-Openで行った結果から,グローバルな優先順位付けによる適応計算は,複数の強い静的および適応的手法よりも向上し,全モデルの95%性能を維持しつつ,計算の4.3倍の削減が達成された。
関連論文リスト
- Feature Alignment: Rethinking Efficient Active Learning via Proxy in the
Context of Pre-trained Models [5.2976735459795385]
トレーニング済みモデルをアクティブな学習で微調整することは、アノテーションコストの削減を約束する。
近年,プロキシに基づく能動学習が提案されている。
このアプローチは、しばしばアクティブな学習性能を著しく低下させ、計算コストの削減を上回ります。
論文 参考訳(メタデータ) (2024-03-02T06:01:34Z) - MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot
Question Answering [68.52980461474752]
オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。
我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。
次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。
同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
論文 参考訳(メタデータ) (2023-10-08T04:44:36Z) - Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference
of Deep Learning [5.41530201129053]
本稿では,新しい暗記ベース推論(MBI)を提案する。
具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。
低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。
計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
論文 参考訳(メタデータ) (2023-07-14T21:01:59Z) - Improved Regret for Efficient Online Reinforcement Learning with Linear
Function Approximation [69.0695698566235]
線形関数近似による強化学習と,コスト関数の逆変化について検討した。
本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-30T17:26:39Z) - Regret Analysis of the Stochastic Direct Search Method for Blind
Resource Allocation [0.0]
雑音の存在下での線形制約および微分自由度最適化のための直接探索法(パターン探索)について検討した。
一般の場合、T2/3の次数に対する後悔の上限を与える。
我々の数学的分析は、決定論的で制約のないケースにおいて、副産物として、時間非依存の後悔境界を定めている。
論文 参考訳(メタデータ) (2022-10-11T07:40:45Z) - Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。
再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
論文 参考訳(メタデータ) (2022-04-15T14:51:41Z) - Trajectory-based Algorithm Selection with Warm-starting [2.3823600586675724]
本研究では,アルゴリズムの性能予測シナリオにおいて,性能回帰モデルとアルゴリズム選択モデルの品質と精度について検討する。
ウォームスタートを用いたトラジェクトリベースラン毎のアルゴリズム選択の有望な性能を示す。
論文 参考訳(メタデータ) (2022-04-13T14:00:55Z) - Planning and Learning with Adaptive Lookahead [74.39132848733847]
ポリシーイテレーション(PI)アルゴリズムは、欲求の一段階の改善と政策評価を交互に行う。
近年の文献では、複数段階のルックアヘッドポリシーの改善が、イテレーション毎の複雑さの増加を犠牲にして、よりコンバージェンス率の向上につながることが示されている。
本研究では,多段階の地平線を状態と推定値の関数として動的に適応する手法を初めて提案する。
論文 参考訳(メタデータ) (2022-01-28T20:26:55Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳(メタデータ) (2021-05-23T19:21:55Z) - Root-finding Approaches for Computing Conformal Prediction Set [18.405645120971496]
共形予測は、以前の同一分布および交換可能な観測に基づいて、特徴ベクトルの未観測応答に対する信頼領域を構築する。
我々は,共形予測集合が古典的ルートフィンディングソフトウェアによって効率的に近似できる区間であるという事実を活用する。
論文 参考訳(メタデータ) (2021-04-14T06:41:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。