論文の概要: Bridging the Gap Between Open-Source and Proprietary LLMs in Table QA

• arxiv url: http://arxiv.org/abs/2506.09657v1
• Date: Wed, 11 Jun 2025 12:26:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.936112
• Title: Bridging the Gap Between Open-Source and Proprietary LLMs in Table QA
• Title（参考訳）: テーブルQAにおけるオープンソースとプロプライエタリLLMのギャップを埋める
• Authors: Nikolas Evkarpidi, Elena Tutubalina,
• Abstract要約: 本稿では,SemEval 2025 Task 8: Question Answering (QA) をテーブル上に構築するシステムを提案する。 提案手法は,テキストからコードへの生成モジュール,自己補正機構,検索拡張生成(RAG)など,いくつかの重要なコンポーネントを統合している。 評価段階では,提案手法は80%の精度を達成し,38チーム中13位にランクインした。
• 参考スコア（独自算出の注目度）: 5.559427430890753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a system developed for SemEval 2025 Task 8: Question Answering (QA) over tabular data. Our approach integrates several key components: text-to-SQL and text-to-code generation modules, a self-correction mechanism, and a retrieval-augmented generation (RAG). Additionally, it includes an end-to-end (E2E) module, all orchestrated by a large language model (LLM). Through ablation studies, we analyzed the effects of different parts of our pipeline and identified the challenges that are still present in this field. During the evaluation phase of the competition, our solution achieved an accuracy of 80%, resulting in a top-13 ranking among the 38 participating teams. Our pipeline demonstrates a significant improvement in accuracy for open-source models and achieves a performance comparable to proprietary LLMs in QA tasks over tables. The code is available at GitHub repository.
• Abstract（参考訳）: 本稿では,SemEval 2025 Task 8: Question Answering (QA) のための表データを用いたシステムを提案する。 提案手法は,テキスト・トゥ・SQLとテキスト・トゥ・コード生成モジュール,自己補正機構,検索拡張生成(RAG)など,いくつかの重要なコンポーネントを統合している。 加えて、エンド・ツー・エンド(E2E)モジュールが含まれており、全ては大きな言語モデル(LLM)によって編成される。 アブレーション研究を通じて、パイプラインの異なる部分の影響を分析し、この分野にまだ存在する課題を特定した。 評価段階では,提案手法は80%の精度を達成し,38チーム中13位にランクインした。 当社のパイプラインでは,オープンソースモデルの精度が大幅に向上し,テーブル上のQAタスクにおいて,プロプライエタリなLLMに匹敵するパフォーマンスを実現している。 コードはGitHubリポジトリから入手できる。

関連論文リスト

• RAISE: Reasoning Agent for Interactive SQL Exploration [47.77323087050061]
  本稿では,スキーマリンク,クエリ生成,反復的改善を1つのエンドツーエンドコンポーネントに統一する新しいフレームワークを提案する。 本手法は、不慣れなデータベースを扱う際に、人間がどう答えるかをエミュレートする。
  論文  参考訳（メタデータ） (2025-06-02T03:07:08Z)
• SRAG: Structured Retrieval-Augmented Generation for Multi-Entity Question Answering over Wikipedia Graph [10.297615455470133]
  MEQA(Multi-entity Question answering)は、大規模言語モデルにおいて重要な課題である。 本稿では、抽出されたエンティティをリレーショナルテーブルに整理する構造化RAGフレームワークを提案する。 ウィキペディアベースのマルチエンタリティQAタスクの実験では、SRAGが最先端の長文LLMを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-03-03T09:37:33Z)
• SWE-Fixer: Training Open-Source LLMs for Effective and Efficient GitHub Issue Resolution [56.9361004704428]
  大規模言語モデル(LLM)は、様々な複雑なタスクにまたがる顕著な習熟度を示している。 SWE-Fixerは、GitHubの問題を効果的かつ効率的に解決するために設計された、新しいオープンソースフレームワークである。 我々は,SWE-Bench LiteとVerifiedベンチマークに対するアプローチを評価し,オープンソースモデル間の競合性能を実現する。
  論文  参考訳（メタデータ） (2025-01-09T07:54:24Z)
• TQA-Bench: Evaluating LLMs for Multi-Table Question Answering with Scalable Context and Symbolic Extension [8.489816179329832]
  TQA-Benchは,大規模言語モデル(LLM)の複雑なQAタスクをリレーショナルデータ上で処理する能力を評価するために設計された,新しいマルチテーブルQAベンチマークである。 我々のベンチマークでは、現実世界のパブリックデータセットから得られた多様なリレーショナルデータベースインスタンスを組み込んでいます。 我々は、70億から700億のパラメータにまたがる、オープンソースとクローズドソースの両方のLLMを体系的に評価する。
  論文  参考訳（メタデータ） (2024-11-29T06:48:13Z)
• Automating Pharmacovigilance Evidence Generation: Using Large Language Models to Produce Context-Aware SQL [0.0]
  検索拡張世代(RAG)フレームワークでOpenAIのGPT-4モデルを利用する。 ビジネスコンテキストドキュメントはビジネスコンテキストドキュメントでリッチ化され、NLQを構造化クエリ言語クエリに変換する。 複雑性の高いクエリが除外された場合、パフォーマンスは最大85%向上した。
  論文  参考訳（メタデータ） (2024-06-15T17:07:31Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [127.97467912117652]
  大規模言語モデル(LLM)は、コード生成において顕著な能力を示した。 しかし、単一の試みで正しいソリューションを生成することは依然として課題である。 本稿では,MPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T14:23:26Z)
• Mixed-modality Representation Learning and Pre-training for Joint Table-and-Text Retrieval in OpenQA [85.17249272519626]
  最適化された OpenQA Table-Text Retriever (OTTeR) を提案する。 検索中心の混合モード合成事前学習を行う。 OTTeRはOTT-QAデータセット上でのテーブル・アンド・テキスト検索の性能を大幅に改善する。
  論文  参考訳（メタデータ） (2022-10-11T07:04:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。