論文の概要: SEER : A Knapsack approach to Exemplar Selection for In-Context HybridQA

• arxiv url: http://arxiv.org/abs/2310.06675v2
• Date: Fri, 20 Oct 2023 08:02:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 02:36:08.440680
• Title: SEER : A Knapsack approach to Exemplar Selection for In-Context HybridQA
• Title（参考訳）: SEER : In-Context HybridQAにおける経験的選択のためのKnapsackアプローチ
• Authors: Jonathan Tonglet, Manon Reusens, Philipp Borchert, Bart Baesens
• Abstract要約: 本稿では,ハイブリッド推論(SEER)のためのサンプルの選択について述べる。 SEERの有効性はFinQAとTAT-QAで実証されている。
• 参考スコア（独自算出の注目度）: 1.0323063834827413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Question answering over hybrid contexts is a complex task, which requires the combination of information extracted from unstructured texts and structured tables in various ways. Recently, In-Context Learning demonstrated significant performance advances for reasoning tasks. In this paradigm, a large language model performs predictions based on a small set of supporting exemplars. The performance of In-Context Learning depends heavily on the selection procedure of the supporting exemplars, particularly in the case of HybridQA, where considering the diversity of reasoning chains and the large size of the hybrid contexts becomes crucial. In this work, we present Selection of ExEmplars for hybrid Reasoning (SEER), a novel method for selecting a set of exemplars that is both representative and diverse. The key novelty of SEER is that it formulates exemplar selection as a Knapsack Integer Linear Program. The Knapsack framework provides the flexibility to incorporate diversity constraints that prioritize exemplars with desirable attributes, and capacity constraints that ensure that the prompt size respects the provided capacity budgets. The effectiveness of SEER is demonstrated on FinQA and TAT-QA, two real-world benchmarks for HybridQA, where it outperforms previous exemplar selection methods.
• Abstract（参考訳）: ハイブリッドコンテキストに対する質問応答は複雑なタスクであり、構造化されていないテキストから抽出された情報と構造化されたテーブルを組み合わせる必要がある。 最近、In-Context Learningは推論タスクの大幅なパフォーマンス向上を示した。 このパラダイムでは、大きな言語モデルは、少数のサポート例に基づいて予測を実行する。 In-Context Learningのパフォーマンスは、特にHybridQAの場合において、推論チェーンの多様性とハイブリッドコンテキストの大規模化を考慮し、支援対象者の選択手順に大きく依存する。 本稿では,代表的かつ多様である例題の組を選択する新しい方法であるハイブリッド推論(seer)のための例題の選定について述べる。 SEER の重要な特徴は、Knapsack Integer Linear Program として典型的な選択を定式化することである。 Knapsackフレームワークは、望ましい属性を優先する多様性制約と、提供されたキャパシティ予算を即時サイズで尊重することを保証するキャパシティ制約を組み込む柔軟性を提供する。 seerの有効性は、hybridqaの2つの実世界のベンチマークであるfinqaとtat-qaで実証されている。

関連論文リスト

• STAYKATE: Hybrid In-Context Example Selection Combining Representativeness Sampling and Retrieval-based Approach -- A Case Study on Science Domains [0.8296121350988481]
  大規模言語モデル(LLM)は、科学的な情報抽出のための潜在的なソリューションを提供する、文脈内で学習する能力を示す。 STAYKATE(StaYKATE)は,アクティブラーニングからの代表性サンプリングの原理と,一般的な検索に基づくアプローチを組み合わせた静的・動的ハイブリッド選択法である。 3つのドメイン固有のデータセットにまたがる結果は、STAYKATEが従来の教師付き手法と既存の選択方法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2024-12-28T06:13:50Z)
• The Power of Adaptation: Boosting In-Context Learning through Adaptive Prompting [8.260097638532878]
  大規模言語モデル(LLM)は、幅広い言語関連タスクで例外的な能力を示している。 モデルフィードバックを活用することで,見本を適応的に選択する新しい手法であるtextscAdaptive-Promptを提案する。 実験の結果,textscAdaptive-Promptは様々な推論タスクにおけるLLM性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-12-23T15:49:43Z)
• PromptRefine: Enhancing Few-Shot Performance on Low-Resource Indic Languages with Example Selection from Related Example Banks [57.86928556668849]
  大規模言語モデル(LLM)は、近ごろ、コンテキスト内学習(ICL)を通じて、印象的な数ショットの学習能力を実証した。 ICLのパフォーマンスは、数発のデモの選択に大きく依存しており、最も最適な例の選択は永続的な研究課題である。 本稿では,低リソースのIndic言語におけるICLの性能向上を目的とした,新しい代替最小化手法であるPromptRefineを提案する。
  論文  参考訳（メタデータ） (2024-12-07T17:51:31Z)
• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号ステップにおける多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法のキャパシティを推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Sub-SA: Strengthen In-context Learning via Submodular Selective Annotation [4.846839863393725]
  サブモジュールに基づく選択的アノテーション法であるSub-SA(Submodular Selective )を提案する。 Sub-SAの目的は、アノテーションのコストを削減しつつ、コンテキスト内サンプルの品質を向上させることである。 また、ラベルなしデータセットの多様性と代表性のバランスを改善するために、RPR(Reward and Penalty Regularization)を提案する。
  論文  参考訳（メタデータ） (2024-07-08T07:47:30Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Adapting Pre-trained Generative Models for Extractive Question Answering [4.993041970406846]
  本稿では、事前学習された生成モデルのパワーを用いて、抽出されたQAタスクに対処する新しいアプローチを提案する。 本稿では,既存の最先端モデルと比較して,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-06T09:01:02Z)
• Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
  本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。 本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。 多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
  論文  参考訳（メタデータ） (2023-10-23T02:27:31Z)
• HRoT: Hybrid prompt strategy and Retrieval of Thought for Table-Text Hybrid Question Answering [13.026990720973703]
  本稿では,TextTableQAのためのHybrid prompt strategyとRetrieval of Thoughtという新たなプロンプト戦略を提案する。 本手法は,MultiHierttデータセットのフル教師付きSOTAと比較して,数ショット設定で優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-09-22T07:26:17Z)
• Reasoning over Hybrid Chain for Table-and-Text Open Domain QA [69.8436986668218]
  我々はChAin中心の推論と事前学習フレームワーク(CARP)を提案する。 CARPはハイブリッドチェーンを使用して、質問応答のための表とテキスト間の明示的な中間推論プロセスをモデル化する。 また,クロスモダリティ推論プロセスの同定において,事前学習モデルを強化するために,新しいチェーン中心の事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-01-15T16:11:55Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。