論文の概要: Improving LLM-Powered EDA Assistants with RAFT

• arxiv url: http://arxiv.org/abs/2506.06500v1
• Date: Fri, 06 Jun 2025 19:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.297165
• Title: Improving LLM-Powered EDA Assistants with RAFT
• Title（参考訳）: RAFTを用いたLCM駆動型EDAアシスタントの改良
• Authors: Luyao Shi, Michael Kazda, Charles Schmitter, Hemlata Gupta,
• Abstract要約: 大きな言語モデル(LLM)は会話エージェントとしての生産性を高めることができる。 オープンソースLLMは電子設計自動化(EDA)のためのドメイン固有の知識を欠いている Retrieval-Augmented Generation (RAG) のコンテキストでは、LLMは外部のコンテキストに依存するが、それでも不正確な応答を生成する可能性がある。
• 参考スコア（独自算出の注目度）: 1.7735606954528838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Electronic design engineers often struggle to efficiently access relevant information for tasks like design verification and technology development. While large language models (LLMs) can enhance productivity as conversational agents, pre-trained open-source LLMs lack domain-specific knowledge for Electronic Design Automation (EDA). In a Retrieval-Augmented Generation (RAG) context, LLMs rely on external context but may still produce inaccurate responses. Retrieval-Augmented Fine-Tuning (RAFT) improves LLM performance, but acquiring labeled question/answer (Q/A) data in EDA is difficult. To address this, we propose using synthetic Q/A datasets to enhance LLMs with RAFT. Our results show that RAFT with synthetic data significantly boosts LLM performance for RAG-based EDA tasks. We also investigate the impact of using real user questions as Retrieval-Augmented Few-Shot (RAFS) examples for synthetic data generation. Additionally, we implement secure access control to ensure sensitive information is only accessible to authorized personnel. Finally, we assess the risk of data leakage and unintended memorization during fine-tuning with synthetic data, providing practical insights.
• Abstract（参考訳）: 電子設計技術者は、しばしば設計検証や技術開発のようなタスクに関連する情報に効率的にアクセスするのに苦労する。 大規模言語モデル(LLM)は会話エージェントとして生産性を高めることができるが、事前訓練されたオープンソースLLMは電子設計自動化(EDA)のドメイン固有の知識を欠いている。 Retrieval-Augmented Generation (RAG) のコンテキストでは、LLMは外部のコンテキストに依存するが、それでも不正確な応答を生成する可能性がある。 Retrieval-Augmented Fine-Tuning (RAFT)はLLMの性能を向上させるが,EDAにおけるラベル付き質問/回答(Q/A)データの取得は困難である。 そこで本研究では,RAFTを用いたLLM向上のための合成Q/Aデータセットを提案する。 以上の結果から,RAFTによるRAFTはRAGに基づくEDAタスクのLLM性能を著しく向上させることが示された。 また,RAFS(Retrieval-Augmented Few-Shot)として実際のユーザ質問を用いた合成データ生成の効果についても検討した。 さらに、機密情報が認証された職員にのみアクセス可能であることを保証するために、セキュアなアクセス制御を実装している。 最後に, 合成データを用いた微調整において, データ漏洩や意図しない記憶のリスクを評価し, 実用的な知見を提供する。

関連論文リスト

• Parametric Retrieval Augmented Generation [32.29608109539912]
  Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-27T10:04:49Z)
• NILE: Internal Consistency Alignment in Large Language Models [59.16120063368364]
  NILE(iNternal consIstency aLignmEnt)フレームワークを導入し、IFTデータセットを最適化してLLMの機能をさらに開放する。 NILE は、訓練済みの LLM の内部知識を命令データに対応付けることで動作する。 実験により,NILE 対応 IFT データセットは複数の能力評価データセットにまたがる LLM 性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-12-21T16:25:16Z)
• SwiftDossier: Tailored Automatic Dossier for Drug Discovery with LLMs and Agents [0.0]
  薬物発見関連質問に対するより正確な回答を生成するために,先進的なRAGシステムが大規模言語モデル(LLM)にどのように役立つかを示す。 第2に,LSMを用いて自動目標線量計を作成し,データ収集に使用する外部ツールに組み込む方法を示す。
  論文  参考訳（メタデータ） (2024-09-24T07:29:05Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)
• Can LLMs Augment Low-Resource Reading Comprehension Datasets? Opportunities and Challenges [3.130575840003799]
  GPT-4は、既存の読解データセットを強化するために使用できる。 この研究は、QAシステムのための合成データ拡張器としてLLMを初めて分析した。
  論文  参考訳（メタデータ） (2023-09-21T18:48:02Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。