論文の概要: TARGET: Benchmarking Table Retrieval for Generative Tasks

• arxiv url: http://arxiv.org/abs/2505.11545v1
• Date: Wed, 14 May 2025 19:39:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.690697
• Title: TARGET: Benchmarking Table Retrieval for Generative Tasks
• Title（参考訳）: TARGET: 生成タスクのベンチマークテーブル検索
• Authors: Xingyu Ji, Parker Glenn, Aditya G. Parameswaran, Madelon Hulsebos,
• Abstract要約: TARGETは、GEnerative TasksのTAble Retrievalを評価するためのベンチマークである。 我々は、異なる検索者の検索性能と、下流タスクへの影響を分離して分析する。 密着型埋込型検索器はBM25ベースラインよりもはるかに優れており,非構造化テキストの検索よりも効率が低い。
• 参考スコア（独自算出の注目度）: 7.379012456053551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The data landscape is rich with structured data, often of high value to organizations, driving important applications in data analysis and machine learning. Recent progress in representation learning and generative models for such data has led to the development of natural language interfaces to structured data, including those leveraging text-to-SQL. Contextualizing interactions, either through conversational interfaces or agentic components, in structured data through retrieval-augmented generation can provide substantial benefits in the form of freshness, accuracy, and comprehensiveness of answers. The key question is: how do we retrieve the right table(s) for the analytical query or task at hand? To this end, we introduce TARGET: a benchmark for evaluating TAble Retrieval for GEnerative Tasks. With TARGET we analyze the retrieval performance of different retrievers in isolation, as well as their impact on downstream tasks. We find that dense embedding-based retrievers far outperform a BM25 baseline which is less effective than it is for retrieval over unstructured text. We also surface the sensitivity of retrievers across various metadata (e.g., missing table titles), and demonstrate a stark variation of retrieval performance across datasets and tasks. TARGET is available at https://target-benchmark.github.io.
• Abstract（参考訳）: データランドスケープは構造化データに富み、多くの場合、組織にとって高い価値を持ち、データ分析や機械学習において重要な応用を推進している。 このようなデータに対する表現学習と生成モデルの最近の進歩は、テキストからSQLへの変換を含む構造化データへの自然言語インタフェースの開発につながっている。 対話インタフェースまたはエージェントコンポーネントを通しての相互作用のコンテキスト化は、検索強化生成による構造化データにおいて、答えの鮮度、正確性、包括性という形で大きな利益をもたらす。 重要な疑問は、分析クエリや手元にあるタスクに対して、適切なテーブルをどうやって取り出すか、ということです。 この目的のために、GEnerative TasksのTAble Retrievalを評価するベンチマークであるTARGETを紹介します。 TARGETでは、異なるレトリバーの検索性能と、下流タスクへの影響を分離して分析する。 密着型埋込型検索器はBM25ベースラインよりもはるかに優れており,非構造化テキストの検索よりも効率が低い。 また、さまざまなメタデータ(例えば、テーブルタイトルの欠落など)にまたがる検索者の感度を明らかにし、データセットやタスク間での検索性能の変動を示す。 TARGETはhttps://target-benchmark.github.io.comで入手できる。

関連論文リスト

• ELITE: Embedding-Less retrieval with Iterative Text Exploration [5.8851517822935335]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 長期のコンテキスト制約を維持する能力は、ドキュメントレベルやマルチターンタスクのパフォーマンスを制限します。
  論文  参考訳（メタデータ） (2025-05-17T08:48:43Z)
• Bridging Queries and Tables through Entities in Table Retrieval [70.13748256886288]
  エンティティは、テキスト検索の文脈でよく研究されているが、テーブル検索におけるその応用についての研究は、顕著に欠如している。 本稿では、実体表現に基づく相互作用パラダイムを設計し、エンティティ強化トレーニングフレームワークを提案する。 提案するフレームワークはプラグアンドプレイでフレキシブルで,既存のテーブルレトリバーのトレーニングプロセスに統合しやすくする。
  論文  参考訳（メタデータ） (2025-04-09T03:16:33Z)
• BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
  大規模言語モデル(LLM)は、様々な領域でますます重要になっている。 BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。 BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2024-10-01T15:11:24Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
  人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。 そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。 このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:43:51Z)
• Intermediate Training on Question Answering Datasets Improves Generative Data Augmentation [32.83012699501051]
  我々は、コンテキスト生成タスクとしてデータ生成を定式化することにより、生成データ拡張を改善する。 ダウンストリームタスクを質問応答形式に投入し、微調整されたコンテキストジェネレータをターゲットタスク領域に適応させる。 少数ショット、ゼロショット設定で、パフォーマンスが大幅に改善されたことを実証します。
  論文  参考訳（メタデータ） (2022-05-25T09:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。