論文の概要: Ask-EDA: A Design Assistant Empowered by LLM, Hybrid RAG and Abbreviation De-hallucination

• arxiv url: http://arxiv.org/abs/2406.06575v1
• Date: Mon, 3 Jun 2024 19:40:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 00:04:06.899362
• Title: Ask-EDA: A Design Assistant Empowered by LLM, Hybrid RAG and Abbreviation De-hallucination
• Title（参考訳）: Ask-EDA: LLM, Hybrid RAG, Abbreviation De-hallucinationを活用したデザインアシスタント
• Authors: Luyao Shi, Michael Kazda, Bradley Sears, Nick Shropshire, Ruchir Puri,
• Abstract要約: 大規模言語モデル(LLM)は、主語の専門家として効果的に機能する会話エージェントとして機能することで生産性を向上させる可能性がある。 Ask-EDAは24x7のエキスパートとして設計エンジニアにガイダンスを提供するように設計されたチャットエージェントである。
• 参考スコア（独自算出の注目度）: 2.3785224421202034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Electronic design engineers are challenged to find relevant information efficiently for a myriad of tasks within design construction, verification and technology development. Large language models (LLM) have the potential to help improve productivity by serving as conversational agents that effectively function as subject-matter experts. In this paper we demonstrate Ask-EDA, a chat agent designed to serve as a 24x7 expert available to provide guidance to design engineers. Ask-EDA leverages LLM, hybrid retrieval augmented generation (RAG) and abbreviation de-hallucination (ADH) techniques to deliver more relevant and accurate responses. We curated three evaluation datasets, namely q2a-100, cmds-100 and abbr-100. Each dataset is tailored to assess a distinct aspect: general design question answering, design command handling and abbreviation resolution. We demonstrated that hybrid RAG offers over a 40% improvement in Recall on the q2a-100 dataset and over a 60% improvement on the cmds-100 dataset compared to not using RAG, while ADH yields over a 70% enhancement in Recall on the abbr-100 dataset. The evaluation results show that Ask-EDA can effectively respond to design-related inquiries.
• Abstract（参考訳）: 電子設計技術者は、設計構築、検証、技術開発における無数のタスクに対して、関連情報を効率的に見つけることが課題である。 大規模言語モデル(LLM)は、主語の専門家として効果的に機能する会話エージェントとして機能することで生産性を向上させる可能性がある。 本稿では,設計技術者にガイダンスを提供するために,24x7のエキスパートとして設計されたチャットエージェントであるAsk-EDAを実演する。 Ask-EDAは、LLM、ハイブリッド検索拡張生成(RAG)、短縮脱ハロシン化(ADH)技術を利用して、より関連性が高く正確な応答を提供する。 我々は,q2a-100,cmds-100,abr-100の3つの評価データセットをキュレートした。 各データセットは、一般的な設計質問応答、デザインコマンドハンドリング、省略解決といった、異なる側面を評価するように調整されている。 我々は、ハイブリッドRAGがq2a-100データセットのリコールを40%以上改善し、cmds-100データセットの60%以上をRAGを使用しないのに対して、ADHはabr-100データセットのリコールを70%以上改善することを示した。 評価の結果,Ask-EDAは設計関連質問に対して効果的に応答できることがわかった。

関連論文リスト

• Customized Retrieval Augmented Generation and Benchmarking for EDA Tool Documentation QA [5.0108982850526]
  検索拡張生成(RAG)は、外部データベースから事実情報を抽出することにより、生成AIモデルの精度と信頼性を高める。 本稿では、EDAツールドキュメンテーションQAのための3つのドメイン固有のテクニックとともに、カスタマイズされたRAGフレームワークを提案する。 我々は,高度なRTL-to-GDSII設計プラットフォームであるOpenROADのドキュメントQA評価ベンチマークであるORD-QAを開発し,リリースした。
  論文  参考訳（メタデータ） (2024-07-22T03:44:27Z)
• FIRE: A Dataset for Feedback Integration and Refinement Evaluation of Multimodal Models [81.0196402853692]
  我々は27のソースデータセットから派生した1.10万のマルチターン会話からなるフィードバック・リファインメント・データセットを構築した。 データ収集のスケールアップには、FIRE-100KとFIRE-1Mの2つのコンポーネントが使用される:FIRE-100KはGPT-4Vで生成され、FIRE-1MはFIRE-100Kで訓練されたモデルを介して自由に生成される。 FIRE-100KおよびFIRE-1M上でのLLaVAの微調整によりFIRE-LLaVAモデルを構築し、FIRE-Bench上で顕著なフィードバック精錬能力を示し、未学習のVLMを50%上回る性能を示した。
  論文  参考訳（メタデータ） (2024-07-16T09:00:45Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• MACAROON: Training Vision-Language Models To Be Your Engaged Partners [95.32771929749514]
  大規模視覚言語モデル(LVLM)は、質問が曖昧でラベルが付されていない場合でも詳細な応答を生成する。 本研究では,LVLMを受動的回答提供者から積極的参加パートナーへ移行することを目的とする。 我々は、LVLMに対して、ラベルなし質問に対するコントラスト応答対を自律的に生成するように指示する、ContrAstive pReference Optimizationのための自己iMaginAtionであるMACAROONを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T09:27:33Z)
• CRAG -- Comprehensive RAG Benchmark [58.15980697921195]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) の知識不足を緩和するための有望なソリューションとして最近登場した。 既存のRAGデータセットは、現実世界の質問回答(QA)タスクの多様性と動的な性質を適切に表現していない。 我々は,Webと知識グラフ(KG)検索をシミュレートする4,409組の質問応答ペアとモックAPIの実際の質問応答ベンチマークである包括的RAGベンチマーク(CRAG)を紹介した。
  論文  参考訳（メタデータ） (2024-06-07T08:43:07Z)
• DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation [86.4326416303723]
  データ分析は、詳細な研究と決定的な洞察を生み出すための重要な分析プロセスである。 LLMのコード生成機能を活用した高品質な応答アノテーションの自動生成を提案する。 我々のDACO-RLアルゴリズムは、57.72%のケースにおいて、SFTモデルよりも有用な回答を生成するために、人間のアノテータによって評価される。
  論文  参考訳（メタデータ） (2024-03-04T22:47:58Z)
• Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems [22.142588104314175]
  本稿では,命令調整されたLMを組み込んだRAGシステムのデータストアから,命令追従機能を利用してテキストデータを冗長に抽出できることを,インプロンプトインジェクションにより示す。 ランダムに選択された25個のGPTに対して、100%の成功率でデータストアリークを引き起こす攻撃を設計する。 我々は,1,569,000語のコーパスから77,000語の本から41%の動詞率でテキストデータを抽出する。
  論文  参考訳（メタデータ） (2024-02-27T19:08:05Z)
• Exploring Hybrid Question Answering via Program-based Prompting [48.87763687023632]
  不均一なデータに対する質問応答には、さまざまなデータソースに対する推論が必要である。 本稿では,ハイブリッド質問応答タスクのための新しいプログラムベースのプロンプトフレームワークであるHProProを提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:35:41Z)
• The Chronicles of RAG: The Retriever, the Chunk and the Generator [0.0]
  本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れたプラクティスを提案する。 我々は最初のハリー・ポッターの本についての質問に答えるための様々な方法を探究する。
  論文  参考訳（メタデータ） (2024-01-15T18:25:18Z)
• DERA: Enhancing Large Language Model Completions with Dialog-Enabled Resolving Agents [5.562984399879218]
  大規模言語モデル(LLM)は多くの自然言語理解タスクに有用なツールとして登場した。 本稿では,対話型解決エージェント(DERA)について述べる。 DERAは、LPMの会話能力の増加、すなわちGPT-4によって実現されたパラダイムである。 モデルがフィードバックを伝達し、反復的に出力を改善するための、シンプルで解釈可能なフォーラムを提供する。
  論文  参考訳（メタデータ） (2023-03-30T00:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。