論文の概要: EEE-QA: Exploring Effective and Efficient Question-Answer Representations

• arxiv url: http://arxiv.org/abs/2403.02176v1
• Date: Mon, 4 Mar 2024 16:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-06 18:05:50.919279
• Title: EEE-QA: Exploring Effective and Efficient Question-Answer Representations
• Title（参考訳）: EEE-QA: 効果的で効率的な質問応答
• Authors: Zhanghao Hu, Yijun Yang, Junjie Xu, Yifu Qiu, Pinzhen Chen
• Abstract要約: 疑問に答えるための現在のアプローチは、RoBERTaのような事前訓練された言語モデル(PLM)に依存している。 この研究は、既存の質問応答符号化規約に挑戦し、より微細な表現を探求する。
• 参考スコア（独自算出の注目度）: 7.764629726412793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current approaches to question answering rely on pre-trained language models (PLMs) like RoBERTa. This work challenges the existing question-answer encoding convention and explores finer representations. We begin with testing various pooling methods compared to using the begin-of-sentence token as a question representation for better quality. Next, we explore opportunities to simultaneously embed all answer candidates with the question. This enables cross-reference between answer choices and improves inference throughput via reduced memory usage. Despite their simplicity and effectiveness, these methods have yet to be widely studied in current frameworks. We experiment with different PLMs, and with and without the integration of knowledge graphs. Results prove that the memory efficacy of the proposed techniques with little sacrifice in performance. Practically, our work enhances 38-100% throughput with 26-65% speedups on consumer-grade GPUs by allowing for considerably larger batch sizes. Our work sends a message to the community with promising directions in both representation quality and efficiency for the question-answering task in natural language processing.
• Abstract（参考訳）: 質問に対する現在のアプローチは、RoBERTaのような事前訓練された言語モデル(PLM)に依存している。 この研究は、既存のq&aエンコーディング規約に挑戦し、より細かい表現を探求する。 品質向上のための質問表現として,開始文トークンを用いた場合と比較して,様々なプーリング手法のテストから始める。 次に,質問に対するすべての回答候補を同時に埋め込む機会を探る。 これにより、回答の選択間の相互参照が可能になり、メモリ使用量の削減による推論スループットが向上する。 単純さと有効性にもかかわらず、これらの手法は現在のフレームワークではまだ広く研究されていない。 我々は,知識グラフを統合することなく,異なるPLMを用いて実験を行う。 その結果,提案手法のメモリ効率は性能を犠牲にすることなく向上した。 実際、当社の作業は38-100%のスループットを向上し、コンシューマグレードのGPUでは26-65%のスピードアップを実現しています。 本研究は,自然言語処理における質問応答タスクの表現品質と効率の両面で,有望な方向性でコミュニティにメッセージを送信する。

関連論文リスト

• Achieving More with Less: Additive Prompt Tuning for Rehearsal-Free Class-Incremental Learning [76.32953653161417]
  クラス増分学習は、モデルが学習したクラスの知識を保持しながら、新しいクラスを段階的に学習することを可能にする。 この分野での最近の進歩はパラメータ効率のよい微調整技術へと移行している。 本稿では,現在のアプローチの限界に対処する新しいプロンプトベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-03-11T02:27:37Z)
• Bag of Tricks for Inference-time Computation of LLM Reasoning [10.366475014241407]
  複雑度の異なる推論タスクに対して,様々な推論時間計算戦略を検証・ベンチマークする。 我々のアブレーション研究は、これまで見過ごされていた戦略が性能を大幅に向上させることができることを示している。 我々は,8つの推論タスクにまたがる6つの代表的手法を体系的に評価することにより,推論時間計算の標準ベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-02-11T02:31:11Z)
• Pruning All-Rounder: Rethinking and Improving Inference Efficiency for Large Vision Language Models [42.124670377223175]
  我々は Pruning All-Rounder (PAR) と呼ばれる推論加速のための新しいフレームワークを提案する。 自己教師付き学習方式により,提案手法は性能と効率のバランスが良好である。特にPARは柔軟であり,複数のプルーニングバージョンを提供し,様々なプルーニングシナリオに対処する。
  論文  参考訳（メタデータ） (2024-12-09T13:02:35Z)
• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• EfficientEQA: An Efficient Approach for Open Vocabulary Embodied Question Answering [21.114403949257934]
  EQA(Embodied Question Answering)は、ロボットホームアシスタントにとって不可欠な課題である。 近年の研究では、大規模視覚言語モデル(VLM)がEQAに有効に活用できることが示されているが、既存の研究はビデオベースの質問応答に焦点を当てているか、クローズドフォームの選択セットに依存している。 オープン語彙EQAのためのEfficientEQAと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-26T19:48:47Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• It Is Not About What You Say, It Is About How You Say It: A Surprisingly Simple Approach for Improving Reading Comprehension [0.0]
  3つのデータセットにまたがる9つの大きな言語モデルで実験した結果、質問の前にコンテキストを提示することで、モデルのパフォーマンスが向上することがわかった。 さらに、最良のメソッドは驚くほど単純で、入力にいくつかのトークンを連結するだけで、結果として最大36%の精度の改善が得られます。
  論文  参考訳（メタデータ） (2024-06-24T16:43:11Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Active Prompting with Chain-of-Thought for Large Language Models [26.5029080638055]
  本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。 不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。 実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
  論文  参考訳（メタデータ） (2023-02-23T18:58:59Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering [38.071375112873675]
  質問応答型エンコーダデコーダモデルの提案と事前学習戦略について述べる。 これにより、シングルホップのQAタスクにおいて、以前のQA検索方法よりも優れたエンドツーエンドシステムが得られる。
  論文  参考訳（メタデータ） (2022-04-10T02:33:00Z)
• Training Data is More Valuable than You Think: A Simple and Effective Method by Retrieving from Training Data [82.92758444543689]
  検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。 意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。 実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T17:37:27Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。