論文の概要: SEER : A Knapsack approach to Exemplar Selection for In-Context HybridQA
- arxiv url: http://arxiv.org/abs/2310.06675v2
- Date: Fri, 20 Oct 2023 08:02:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 02:36:08.440680
- Title: SEER : A Knapsack approach to Exemplar Selection for In-Context HybridQA
- Title(参考訳): SEER : In-Context HybridQAにおける経験的選択のためのKnapsackアプローチ
- Authors: Jonathan Tonglet, Manon Reusens, Philipp Borchert, Bart Baesens
- Abstract要約: 本稿では,ハイブリッド推論(SEER)のためのサンプルの選択について述べる。
SEERの有効性はFinQAとTAT-QAで実証されている。
- 参考スコア(独自算出の注目度): 1.0323063834827413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Question answering over hybrid contexts is a complex task, which requires the
combination of information extracted from unstructured texts and structured
tables in various ways. Recently, In-Context Learning demonstrated significant
performance advances for reasoning tasks. In this paradigm, a large language
model performs predictions based on a small set of supporting exemplars. The
performance of In-Context Learning depends heavily on the selection procedure
of the supporting exemplars, particularly in the case of HybridQA, where
considering the diversity of reasoning chains and the large size of the hybrid
contexts becomes crucial. In this work, we present Selection of ExEmplars for
hybrid Reasoning (SEER), a novel method for selecting a set of exemplars that
is both representative and diverse. The key novelty of SEER is that it
formulates exemplar selection as a Knapsack Integer Linear Program. The
Knapsack framework provides the flexibility to incorporate diversity
constraints that prioritize exemplars with desirable attributes, and capacity
constraints that ensure that the prompt size respects the provided capacity
budgets. The effectiveness of SEER is demonstrated on FinQA and TAT-QA, two
real-world benchmarks for HybridQA, where it outperforms previous exemplar
selection methods.
- Abstract(参考訳): ハイブリッドコンテキストに対する質問応答は複雑なタスクであり、構造化されていないテキストから抽出された情報と構造化されたテーブルを組み合わせる必要がある。
最近、In-Context Learningは推論タスクの大幅なパフォーマンス向上を示した。
このパラダイムでは、大きな言語モデルは、少数のサポート例に基づいて予測を実行する。
In-Context Learningのパフォーマンスは、特にHybridQAの場合において、推論チェーンの多様性とハイブリッドコンテキストの大規模化を考慮し、支援対象者の選択手順に大きく依存する。
本稿では,代表的かつ多様である例題の組を選択する新しい方法であるハイブリッド推論(seer)のための例題の選定について述べる。
SEER の重要な特徴は、Knapsack Integer Linear Program として典型的な選択を定式化することである。
Knapsackフレームワークは、望ましい属性を優先する多様性制約と、提供されたキャパシティ予算を即時サイズで尊重することを保証するキャパシティ制約を組み込む柔軟性を提供する。
seerの有効性は、hybridqaの2つの実世界のベンチマークであるfinqaとtat-qaで実証されている。
関連論文リスト
- Adapting Pre-trained Generative Models for Extractive Question Answering [4.993041970406846]
本稿では、事前学習された生成モデルのパワーを用いて、抽出されたQAタスクに対処する新しいアプローチを提案する。
本稿では,既存の最先端モデルと比較して,提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-11-06T09:01:02Z) - Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。
本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。
多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
論文 参考訳(メタデータ) (2023-10-23T02:27:31Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - HRoT: Hybrid prompt strategy and Retrieval of Thought for Table-Text
Hybrid Question Answering [13.026990720973703]
本稿では,TextTableQAのためのHybrid prompt strategyとRetrieval of Thoughtという新たなプロンプト戦略を提案する。
本手法は,MultiHierttデータセットのフル教師付きSOTAと比較して,数ショット設定で優れた性能を実現する。
論文 参考訳(メタデータ) (2023-09-22T07:26:17Z) - HPE:Answering Complex Questions over Text by Hybrid Question Parsing and
Execution [92.69684305578957]
テキストQAにおける質問解析と実行の枠組みを提案する。
提案したフレームワークは、トップダウンの質問パースとして、ボトムアップの回答バックトラックとみなすことができる。
MuSiQue,2WikiQA,HotpotQA,およびNQに関する実験により,提案した解析およびハイブリッド実行フレームワークが,教師付き,少数ショット,ゼロショット設定における既存のアプローチより優れていることを示す。
論文 参考訳(メタデータ) (2023-05-12T22:37:06Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳(メタデータ) (2023-02-11T14:02:08Z) - MQAG: Multiple-choice Question Answering and Generation for Assessing
Information Consistency in Summarization [55.60306377044225]
最先端の要約システムは高度に流動的な要約を生成することができる。
しかし、これらの要約には、情報源に存在しない事実上の矛盾や情報が含まれている可能性がある。
本稿では,ソース情報と要約情報を直接比較する,標準的な情報理論に基づく代替手法を提案する。
論文 参考訳(メタデータ) (2023-01-28T23:08:25Z) - Reasoning over Hybrid Chain for Table-and-Text Open Domain QA [69.8436986668218]
我々はChAin中心の推論と事前学習フレームワーク(CARP)を提案する。
CARPはハイブリッドチェーンを使用して、質問応答のための表とテキスト間の明示的な中間推論プロセスをモデル化する。
また,クロスモダリティ推論プロセスの同定において,事前学習モデルを強化するために,新しいチェーン中心の事前学習手法を提案する。
論文 参考訳(メタデータ) (2022-01-15T16:11:55Z) - Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文 参考訳(メタデータ) (2020-10-10T14:03:20Z) - Do Response Selection Models Really Know What's Next? Utterance
Manipulation Strategies for Multi-turn Response Selection [11.465266718370536]
本研究では,検索に基づく対話システムにおけるユーザとシステム発話履歴の最適応答を選択するタスクについて検討する。
この問題に対処するための発話操作戦略(UMS)を提案する。
UMSは、ダイアログコヒーレンスを維持するための応答選択モデルを支援するいくつかの戦略(挿入、削除、検索)から構成される。
論文 参考訳(メタデータ) (2020-09-10T07:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。