論文の概要: Winning Solution For Meta KDD Cup' 24
- arxiv url: http://arxiv.org/abs/2410.00005v1
- Date: Fri, 13 Sep 2024 06:10:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 15:26:50.296184
- Title: Winning Solution For Meta KDD Cup' 24
- Title(参考訳): メタKDDカップ24勝
- Authors: Yikuan Xia, Jiazun Chen, Jun Gao,
- Abstract要約: 本稿では,db3チームによるメタKDDカップ24における全タスクの勝利解について述べる。
課題は、WebソースとナレッジグラフからRAGシステムを構築することだ。
我々のソリューションは3つのタスクで1位を獲得し、それぞれ28.4%、42.7%、47.8%のスコアを得た。
- 参考スコア(独自算出の注目度): 6.471894753117029
- License:
- Abstract: This paper describes the winning solutions of all tasks in Meta KDD Cup 24 from db3 team. The challenge is to build a RAG system from web sources and knowledge graphs. We are given multiple sources for each query to help us answer the question. The CRAG challenge involves three tasks: (1) condensing information from web pages into accurate answers, (2) integrating structured data from mock knowledge graphs, and (3) selecting and integrating critical data from extensive web pages and APIs to reflect real-world retrieval challenges. Our solution for Task #1 is a framework of web or open-data retrieval and answering. The large language model (LLM) is tuned for better RAG performance and less hallucination. Task #2 and Task #3 solutions are based on a regularized API set for domain questions and the API generation method using tuned LLM. Our knowledge graph API interface extracts directly relevant information to help LLMs answer correctly. Our solution achieves 1st place on all three tasks, achieving a score of 28.4%, 42.7%, and 47.8%, respectively.
- Abstract(参考訳): 本稿では,db3チームによるメタKDDカップ24における全タスクの勝利解について述べる。
課題は、WebソースとナレッジグラフからRAGシステムを構築することだ。
質問に答えるために、クエリ毎に複数のソースが与えられています。
CRAG課題は,(1)Webページからの情報を正確な回答に凝縮すること,(2)モック知識グラフから構造化されたデータを統合すること,(3)WebページやAPIから重要なデータを選択して,現実世界の検索課題を反映すること,の3つの課題を含む。
Task #1のソリューションは、Webまたはオープンデータ検索と回答のフレームワークです。
大きな言語モデル(LLM)は、RAGのパフォーマンスの向上と幻覚の低減のために調整されている。
Task #2 と Task #3 のソリューションは、ドメイン質問のための規則化された API セットと、チューニング LLM を用いた API 生成方法に基づいている。
我々の知識グラフAPIインターフェースは、LLMが正しく答えるのに役立つ直接的な関連情報を抽出する。
我々のソリューションは3つのタスクで1位を獲得し、それぞれ28.4%、42.7%、47.8%のスコアを得た。
関連論文リスト
- GraphTeam: Facilitating Large Language Model-based Graph Analysis via Multi-Agent Collaboration [46.663380413396226]
GraphTeamは3つのモジュールから5つのLLMベースのエージェントで構成されており、異なる特殊性を持つエージェントは複雑な問題に対処するために協力することができる。
6つのグラフ分析ベンチマークの実験は、GraphTeamが最先端のパフォーマンスを達成し、精度の点で最高のベースラインよりも平均25.85%改善していることを示している。
論文 参考訳(メタデータ) (2024-10-23T17:02:59Z) - Contri(e)ve: Context + Retrieve for Scholarly Question Answering [0.0]
本稿では,オープンソースのLarge Language Model (LLM): Scholarly-QALDデータセット用のLlama3.1を提案する。
まず、異なる構造化データソースと非構造化データソースから質問に関連するコンテキストを抽出する。
第2に,LLMの情報検索性能を向上させるために,プロンプトエンジニアリングを実装した。
論文 参考訳(メタデータ) (2024-09-13T17:38:47Z) - MARAGS: A Multi-Adapter System for Multi-Task Retrieval Augmented Generation Question Answering [0.43512163406552007]
KDD CUP 2024 のための Meta's Comprehensive RAG (CRAG) コンペティションのためのマルチアダプタ検索拡張システム (MARAGS) を提案する。
タスク1では2位,タスク2では3位となった。
論文 参考訳(メタデータ) (2024-09-05T01:58:29Z) - EWEK-QA: Enhanced Web and Efficient Knowledge Graph Retrieval for Citation-based Question Answering Systems [103.91826112815384]
引用ベースのQAシステムは2つの欠点に悩まされている。
彼らは通常、抽出された知識の源としてWebにのみ依存し、外部の知識ソースを追加することで、システムの効率を損なう。
システムに供給された知識の内容を充実させるため,Web と 効率的な知識グラフ (KG) 検索ソリューション (EWEK-QA) を提案する。
論文 参考訳(メタデータ) (2024-06-14T19:40:38Z) - A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。
ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。
その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
論文 参考訳(メタデータ) (2024-05-24T02:44:14Z) - From Local to Global: A Graph RAG Approach to Query-Focused Summarization [3.9676927113698626]
プライベートテキストコーパス上での質問応答に対するグラフRAG手法を提案する。
我々のアプローチは、ソース文書からエンティティ知識グラフを使用して、近縁なエンティティのすべてのグループに対して、コミュニティの要約を事前に生成する。
100万のトークン範囲のデータセットに対するグローバルなセンスメイキング質問のクラスでは、グラフRAGが、生来のRAGベースラインよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2024-04-24T18:38:11Z) - API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs [28.840207102132286]
既存のデータセットを特定し、キュレーションし、変換するタスクに重点を置いています。
ツール拡張LDMのトレーニングと体系的なテストを行うための大規模なコーパスであるAPI-BLENDを紹介する。
トレーニングとベンチマークの両方の目的で,API-BLENDデータセットの有用性を実証する。
論文 参考訳(メタデータ) (2024-02-23T18:30:49Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - AVIS: Autonomous Visual Information Seeking with Large Language Model
Agent [123.75169211547149]
本稿では,視覚的質問応答フレームワークAVISを提案する。
本手法は,LLM(Large Language Model)を利用して外部ツールの利用を動的に強化する。
AVIS は Infoseek や OK-VQA などの知識集約型視覚質問応答ベンチマークの最先端結果を達成する。
論文 参考訳(メタデータ) (2023-06-13T20:50:22Z) - Learning to Learn from APIs: Black-Box Data-Free Meta-Learning [95.41441357931397]
データフリーなメタラーニング(DFML)は、トレーニングデータにアクセスせずに事前訓練されたモデルの集合からメタラーニングすることで、新しいタスクの効率的な学習を可能にすることを目的としている。
既存のDFMLの作業は、(i)ホワイトボックスと(ii)小規模事前訓練モデルからしかメタ学習できない。
ブラックボックスAPIの集合から単一のモデルへ,より一般的なメタ知識を伝達するための,バイレベルデータフリーなメタ知識蒸留(BiDf-MKD)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-28T18:00:12Z) - IIRC: A Dataset of Incomplete Information Reading Comprehension
Questions [53.3193258414806]
我々は、英語Wikipediaの段落に13K以上の質問があるIIRCというデータセットを提示する。
質問は、リンクされた文書にアクセスできなかった群衆労働者によって書かれた。
我々は、このデータセットのベースラインモデルを構築するために、様々な読解データセットに関する最近のモデリング作業に従う。
論文 参考訳(メタデータ) (2020-11-13T20:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。