論文の概要: Ask-EDA: A Design Assistant Empowered by LLM, Hybrid RAG and Abbreviation De-hallucination

• arxiv url: http://arxiv.org/abs/2406.06575v1
• Date: Mon, 3 Jun 2024 19:40:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 00:04:06.899362
• Title: Ask-EDA: A Design Assistant Empowered by LLM, Hybrid RAG and Abbreviation De-hallucination
• Title（参考訳）: Ask-EDA: LLM, Hybrid RAG, Abbreviation De-hallucinationを活用したデザインアシスタント
• Authors: Luyao Shi, Michael Kazda, Bradley Sears, Nick Shropshire, Ruchir Puri,
• Abstract要約: 大規模言語モデル(LLM)は、主語の専門家として効果的に機能する会話エージェントとして機能することで生産性を向上させる可能性がある。 Ask-EDAは24x7のエキスパートとして設計エンジニアにガイダンスを提供するように設計されたチャットエージェントである。
• 参考スコア（独自算出の注目度）: 2.3785224421202034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Electronic design engineers are challenged to find relevant information efficiently for a myriad of tasks within design construction, verification and technology development. Large language models (LLM) have the potential to help improve productivity by serving as conversational agents that effectively function as subject-matter experts. In this paper we demonstrate Ask-EDA, a chat agent designed to serve as a 24x7 expert available to provide guidance to design engineers. Ask-EDA leverages LLM, hybrid retrieval augmented generation (RAG) and abbreviation de-hallucination (ADH) techniques to deliver more relevant and accurate responses. We curated three evaluation datasets, namely q2a-100, cmds-100 and abbr-100. Each dataset is tailored to assess a distinct aspect: general design question answering, design command handling and abbreviation resolution. We demonstrated that hybrid RAG offers over a 40% improvement in Recall on the q2a-100 dataset and over a 60% improvement on the cmds-100 dataset compared to not using RAG, while ADH yields over a 70% enhancement in Recall on the abbr-100 dataset. The evaluation results show that Ask-EDA can effectively respond to design-related inquiries.
• Abstract（参考訳）: 電子設計技術者は、設計構築、検証、技術開発における無数のタスクに対して、関連情報を効率的に見つけることが課題である。 大規模言語モデル(LLM)は、主語の専門家として効果的に機能する会話エージェントとして機能することで生産性を向上させる可能性がある。 本稿では,設計技術者にガイダンスを提供するために,24x7のエキスパートとして設計されたチャットエージェントであるAsk-EDAを実演する。 Ask-EDAは、LLM、ハイブリッド検索拡張生成(RAG)、短縮脱ハロシン化(ADH)技術を利用して、より関連性が高く正確な応答を提供する。 我々は,q2a-100,cmds-100,abr-100の3つの評価データセットをキュレートした。 各データセットは、一般的な設計質問応答、デザインコマンドハンドリング、省略解決といった、異なる側面を評価するように調整されている。 我々は、ハイブリッドRAGがq2a-100データセットのリコールを40%以上改善し、cmds-100データセットの60%以上をRAGを使用しないのに対して、ADHはabr-100データセットのリコールを70%以上改善することを示した。 評価の結果,Ask-EDAは設計関連質問に対して効果的に応答できることがわかった。

関連論文リスト

• Retrieval-Augmented Generation for Domain-Specific Question Answering: A Case Study on Pittsburgh and CMU [3.1787418271023404]
  我々は、ドメイン固有の質問に答えるために、関連文書を含む大規模言語モデルを提供するために、検索型拡張生成システム(RAG)を設計した。 我々は,グリーディスクレーピング戦略を用いて1,800以上のサブページを抽出し,手動とMistralの生成した質問応答ペアを組み合わせたハイブリッドアノテーションプロセスを用いた。 我々のRAGフレームワークはBM25とFAISSレトリバーを統合し、文書検索精度を向上させるリランカで強化した。
  論文  参考訳（メタデータ） (2024-11-20T20:10:43Z)
• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Telco-DPR: A Hybrid Dataset for Evaluating Retrieval Models of 3GPP Technical Specifications [0.8999666725996975]
  本稿では,第3世代パートナーシッププロジェクト技術文書を用いた通信分野を対象としたQAシステムを提案する。 テキストとテーブルを組み合わせたハイブリッドデータセットであるTelco-DPRが提示され、一連の合成質問/回答ペアが含まれている。 トップK精度と平均相反ランク(MRR)を用いて、検索モデルの評価と比較を行う。 提案するQAシステムは,改良されたRAGモデルと生成事前学習変換器(GPT)-4を用いて,解答精度を14%向上させる。
  論文  参考訳（メタデータ） (2024-10-15T16:37:18Z)
• Enhanced Electronic Health Records Text Summarization Using Large Language Models [0.0]
  このプロジェクトは、臨床が優先する、焦点を絞った要約を生成するシステムを作成することで、以前の作業の上に構築される。 提案システムでは,Flan-T5モデルを用いて,臨床専門のトピックに基づいた調整されたERHサマリーを生成する。
  論文  参考訳（メタデータ） (2024-10-12T19:36:41Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• Customized Retrieval Augmented Generation and Benchmarking for EDA Tool Documentation QA [5.0108982850526]
  検索拡張生成(RAG)は、外部データベースから事実情報を抽出することにより、生成AIモデルの精度と信頼性を高める。 本稿では、EDAツールドキュメンテーションQAのための3つのドメイン固有のテクニックとともに、カスタマイズされたRAGフレームワークを提案する。 我々は,高度なRTL-to-GDSII設計プラットフォームであるOpenROADのドキュメントQA評価ベンチマークであるORD-QAを開発し,リリースした。
  論文  参考訳（メタデータ） (2024-07-22T03:44:27Z)
• FIRE: A Dataset for Feedback Integration and Refinement Evaluation of Multimodal Models [81.0196402853692]
  我々は27のソースデータセットから派生した1.10万のマルチターン会話からなるフィードバック・リファインメント・データセットを構築した。 データ収集のスケールアップには、FIRE-100KとFIRE-1Mの2つのコンポーネントが使用される:FIRE-100KはGPT-4Vで生成され、FIRE-1MはFIRE-100Kで訓練されたモデルを介して自由に生成される。 FIRE-100KおよびFIRE-1M上でのLLaVAの微調整によりFIRE-LLaVAモデルを構築し、FIRE-Bench上で顕著なフィードバック精錬能力を示し、未学習のVLMを50%上回る性能を示した。
  論文  参考訳（メタデータ） (2024-07-16T09:00:45Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• CRAG -- Comprehensive RAG Benchmark [58.15980697921195]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) の知識不足を緩和するための有望なソリューションとして最近登場した。 既存のRAGデータセットは、現実世界の質問回答(QA)タスクの多様性と動的な性質を適切に表現していない。 このギャップを埋めるために、包括的RAGベンチマーク(CRAG)を導入する。 CRAGは、Webと知識グラフ(KG)検索をシミュレートする4,409組の質問応答ペアとモックAPIの実際の質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-06-07T08:43:07Z)
• The Chronicles of RAG: The Retriever, the Chunk and the Generator [0.0]
  本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れたプラクティスを提案する。 我々は最初のハリー・ポッターの本についての質問に答えるための様々な方法を探究する。
  論文  参考訳（メタデータ） (2024-01-15T18:25:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。