論文の概要: Don't Read Too Much into It: Adaptive Computation for Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2011.05435v1
• Date: Tue, 10 Nov 2020 22:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 06:30:44.863545
• Title: Don't Read Too Much into It: Adaptive Computation for Open-Domain Question Answering
• Title（参考訳）: あまり読むな - オープンドメインの質問回答に対する適応型計算
• Authors: Yuxiang Wu, Sebastian Riedel, Pasquale Minervini, Pontus Stenetorp
• Abstract要約: Open-Domain Question Answeringへのほとんどのアプローチは、候補パスのセットを選択する軽量な検索器と、正しい回答を特定するためにパスを調べる計算コストの高い読者で構成されている。 これまでの研究では、検索されたパスの数が増加するにつれて、読み手のパフォーマンスも向上することが示されている。 そこで本稿では,読み込むパスに割り当てられる計算予算を制御するために,適応計算を用いることを提案する。 SQuAD-Openで行った結果から,グローバルな優先順位付けによる適応計算は,複数の強い静的および適応的手法よりも向上し,全モデルの95%性能を維持しつつ,計算の4.3倍の削減が達成された。
• 参考スコア（独自算出の注目度）: 38.866606343807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most approaches to Open-Domain Question Answering consist of a light-weight retriever that selects a set of candidate passages, and a computationally expensive reader that examines the passages to identify the correct answer. Previous works have shown that as the number of retrieved passages increases, so does the performance of the reader. However, they assume all retrieved passages are of equal importance and allocate the same amount of computation to them, leading to a substantial increase in computational cost. To reduce this cost, we propose the use of adaptive computation to control the computational budget allocated for the passages to be read. We first introduce a technique operating on individual passages in isolation which relies on anytime prediction and a per-layer estimation of an early exit probability. We then introduce SkylineBuilder, an approach for dynamically deciding on which passage to allocate computation at each step, based on a resource allocation policy trained via reinforcement learning. Our results on SQuAD-Open show that adaptive computation with global prioritisation improves over several strong static and adaptive methods, leading to a 4.3x reduction in computation while retaining 95% performance of the full model.
• Abstract（参考訳）: Open-Domain Question Answeringへのほとんどのアプローチは、候補パスのセットを選択する軽量な検索器と、正しい回答を特定するためにパスを調べる計算コストの高い読者で構成される。 以前の著作では、検索された文数が増えるにつれて、読み手のパフォーマンスも向上することを示した。 しかし、検索された全てのパスは等しく重要であり、それらに同じ量の計算を割り当てると仮定し、計算コストが大幅に増加する。 このコストを削減するため,本研究では,読み込むパスに割り当てられた計算予算を制御するための適応計算法を提案する。 まず,任意の時間予測と早期出口確率の層毎推定に依存する個別経路を分離して操作する手法を紹介する。 次に,強化学習によって訓練された資源割当方針に基づき,各ステップで計算を割り当てる経路を動的に決定する手法であるskylinebuilderを提案する。 SQuAD-Openで行った結果から,グローバルな優先順位付けによる適応計算は,複数の強い静的および適応的手法よりも向上し,全モデルの95%性能を維持しつつ,計算の4.3倍の削減が達成された。

関連論文リスト

• Recycled Attention: Efficient inference for long-context language models [54.00118604124301]
  本稿では,入力トークンのサブセットに対して,フルコンテキストアテンションとアテンションを交互に切り替える推論時間手法であるRecycled Attentionを提案する。 部分的に注意を払っていると、全注意を払っている前のトークンの注意パターンをリサイクルし、最も出席しているトークンの上位Kにのみ出席する。 提案手法は,局所的な文脈や注目スコアの高いトークンにのみ参加する推論時加速度法と比較して,現在の復号ステップに関連するトークンを柔軟に選択する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• Improve Dense Passage Retrieval with Entailment Tuning [22.39221206192245]
  検索システムの鍵となるのは、クエリとパスペアの関連スコアを計算することである。 我々は、NLIタスクにおけるエンテーメントの概念と、関連性の主要なクラスが一致していることを観察した。 我々は,高密度レトリバーの埋め込みを改善するために,エンテーメントチューニングと呼ばれる手法を設計する。
  論文  参考訳（メタデータ） (2024-10-21T09:18:30Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Learning How Hard to Think: Input-Adaptive Allocation of LM Computation [41.40870191201561]
  計算集約的な復号処理は、コード生成、数値推論、ダイアログにまたがる問題において、言語モデル(LM)出力の品質を向上させることができる。 精度の高い計算割当手順を学習でき、応答品質を犠牲にすることなく最大50%の計算を減らしたり、固定された計算予算で最大10%品質を向上できることを示す。
  論文  参考訳（メタデータ） (2024-10-07T02:52:30Z)
• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)
• Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation [69.0695698566235]
  線形関数近似による強化学習と,コスト関数の逆変化について検討した。 本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T17:26:39Z)
• Stochastic Direct Search Method for Blind Resource Allocation [6.574808513848414]
  線形制約付きおよび微分自由最適化のための直接探索法(パターン探索とも呼ばれる)について検討する。 直接探索法は決定論的かつ制約のない場合において有限の後悔を達成できることを示す。 そこで本研究では,T2/3$のオーダを後悔させるようなダイレクトサーチの簡単な拡張を提案する。
  論文  参考訳（メタデータ） (2022-10-11T07:40:45Z)
• Trajectory-based Algorithm Selection with Warm-starting [2.3823600586675724]
  本研究では,アルゴリズムの性能予測シナリオにおいて,性能回帰モデルとアルゴリズム選択モデルの品質と精度について検討する。 ウォームスタートを用いたトラジェクトリベースラン毎のアルゴリズム選択の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-04-13T14:00:55Z)
• Planning and Learning with Adaptive Lookahead [74.39132848733847]
  ポリシーイテレーション(PI)アルゴリズムは、欲求の一段階の改善と政策評価を交互に行う。 近年の文献では、複数段階のルックアヘッドポリシーの改善が、イテレーション毎の複雑さの増加を犠牲にして、よりコンバージェンス率の向上につながることが示されている。 本研究では,多段階の地平線を状態と推定値の関数として動的に適応する手法を初めて提案する。
  論文  参考訳（メタデータ） (2022-01-28T20:26:55Z)
• Root-finding Approaches for Computing Conformal Prediction Set [18.405645120971496]
  共形予測は、以前の同一分布および交換可能な観測に基づいて、特徴ベクトルの未観測応答に対する信頼領域を構築する。 我々は,共形予測集合が古典的ルートフィンディングソフトウェアによって効率的に近似できる区間であるという事実を活用する。
  論文  参考訳（メタデータ） (2021-04-14T06:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。