論文の概要: SEER : A Knapsack approach to Exemplar Selection for In-Context HybridQA

• arxiv url: http://arxiv.org/abs/2310.06675v2
• Date: Fri, 20 Oct 2023 08:02:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 02:36:08.440680
• Title: SEER : A Knapsack approach to Exemplar Selection for In-Context HybridQA
• Title（参考訳）: SEER : In-Context HybridQAにおける経験的選択のためのKnapsackアプローチ
• Authors: Jonathan Tonglet, Manon Reusens, Philipp Borchert, Bart Baesens
• Abstract要約: 本稿では,ハイブリッド推論(SEER)のためのサンプルの選択について述べる。 SEERの有効性はFinQAとTAT-QAで実証されている。
• 参考スコア（独自算出の注目度）: 1.0323063834827413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Question answering over hybrid contexts is a complex task, which requires the combination of information extracted from unstructured texts and structured tables in various ways. Recently, In-Context Learning demonstrated significant performance advances for reasoning tasks. In this paradigm, a large language model performs predictions based on a small set of supporting exemplars. The performance of In-Context Learning depends heavily on the selection procedure of the supporting exemplars, particularly in the case of HybridQA, where considering the diversity of reasoning chains and the large size of the hybrid contexts becomes crucial. In this work, we present Selection of ExEmplars for hybrid Reasoning (SEER), a novel method for selecting a set of exemplars that is both representative and diverse. The key novelty of SEER is that it formulates exemplar selection as a Knapsack Integer Linear Program. The Knapsack framework provides the flexibility to incorporate diversity constraints that prioritize exemplars with desirable attributes, and capacity constraints that ensure that the prompt size respects the provided capacity budgets. The effectiveness of SEER is demonstrated on FinQA and TAT-QA, two real-world benchmarks for HybridQA, where it outperforms previous exemplar selection methods.
• Abstract（参考訳）: ハイブリッドコンテキストに対する質問応答は複雑なタスクであり、構造化されていないテキストから抽出された情報と構造化されたテーブルを組み合わせる必要がある。 最近、In-Context Learningは推論タスクの大幅なパフォーマンス向上を示した。 このパラダイムでは、大きな言語モデルは、少数のサポート例に基づいて予測を実行する。 In-Context Learningのパフォーマンスは、特にHybridQAの場合において、推論チェーンの多様性とハイブリッドコンテキストの大規模化を考慮し、支援対象者の選択手順に大きく依存する。 本稿では,代表的かつ多様である例題の組を選択する新しい方法であるハイブリッド推論(seer)のための例題の選定について述べる。 SEER の重要な特徴は、Knapsack Integer Linear Program として典型的な選択を定式化することである。 Knapsackフレームワークは、望ましい属性を優先する多様性制約と、提供されたキャパシティ予算を即時サイズで尊重することを保証するキャパシティ制約を組み込む柔軟性を提供する。 seerの有効性は、hybridqaの2つの実世界のベンチマークであるfinqaとtat-qaで実証されている。

関連論文リスト

• Sub-SA: Strengthen In-context Learning via Submodular Selective Annotation [4.846839863393725]
  サブモジュールベースの選択的アノテーションである textbfSub-SA (textbfSubmodular textbfSelective textbfAnnotation) を提案する。 Sub-SAの目的は、文脈内サンプルの品質を改善し、選択プロセスの時間消費を最小限に抑えつつ、アノテーションのコストを削減することである。
  論文  参考訳（メタデータ） (2024-07-08T07:47:30Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
  大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。 本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。 生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-05-13T04:59:32Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Adapting Pre-trained Generative Models for Extractive Question Answering [4.993041970406846]
  本稿では、事前学習された生成モデルのパワーを用いて、抽出されたQAタスクに対処する新しいアプローチを提案する。 本稿では,既存の最先端モデルと比較して,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-06T09:01:02Z)
• Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
  本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。 本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。 多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
  論文  参考訳（メタデータ） (2023-10-23T02:27:31Z)
• HRoT: Hybrid prompt strategy and Retrieval of Thought for Table-Text Hybrid Question Answering [13.026990720973703]
  本稿では,TextTableQAのためのHybrid prompt strategyとRetrieval of Thoughtという新たなプロンプト戦略を提案する。 本手法は,MultiHierttデータセットのフル教師付きSOTAと比較して,数ショット設定で優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-09-22T07:26:17Z)
• MQAG: Multiple-choice Question Answering and Generation for Assessing Information Consistency in Summarization [55.60306377044225]
  最先端の要約システムは高度に流動的な要約を生成することができる。 しかし、これらの要約には、情報源に存在しない事実上の矛盾や情報が含まれている可能性がある。 本稿では,ソース情報と要約情報を直接比較する,標準的な情報理論に基づく代替手法を提案する。
  論文  参考訳（メタデータ） (2023-01-28T23:08:25Z)
• Reasoning over Hybrid Chain for Table-and-Text Open Domain QA [69.8436986668218]
  我々はChAin中心の推論と事前学習フレームワーク(CARP)を提案する。 CARPはハイブリッドチェーンを使用して、質問応答のための表とテキスト間の明示的な中間推論プロセスをモデル化する。 また,クロスモダリティ推論プロセスの同定において,事前学習モデルを強化するために,新しいチェーン中心の事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-01-15T16:11:55Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。