論文の概要: Fine-Tuning Large Language Models and Evaluating Retrieval Methods for Improved Question Answering on Building Codes

• arxiv url: http://arxiv.org/abs/2505.04666v1
• Date: Wed, 07 May 2025 05:04:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.621443
• Title: Fine-Tuning Large Language Models and Evaluating Retrieval Methods for Improved Question Answering on Building Codes
• Title（参考訳）: 建築コードに対する質問応答改善のための微調整大規模言語モデルと検索手法の評価
• Authors: Mohammad Aqib, Mohd Hamza, Qipei Mei, Ying Hei Chui,
• Abstract要約: 建築法典は、構造的整合性、防火、アクセシビリティを確保するために、建物の設計、建設、安全性の基準を確立する規則である。 主な課題は、大量のテキストをナビゲートすること、技術的言語を解釈すること、異なるセクションにまたがる関連する節を特定することである。 潜在的な解決策は、ビルドコードに基づいてユーザクエリに回答するQA(QA)システムを構築することである。 QAシステムを構築するための様々な方法のうち、RAG(Retrieval-Augmented Generation)のパフォーマンスは際立っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building codes are regulations that establish standards for the design, construction, and safety of buildings to ensure structural integrity, fire protection, and accessibility. They are often extensive, complex, and subject to frequent updates, making manual querying challenging and time-consuming. Key difficulties include navigating large volumes of text, interpreting technical language, and identifying relevant clauses across different sections. A potential solution is to build a Question-Answering (QA) system that answers user queries based on building codes. Among the various methods for building a QA system, Retrieval-Augmented Generation (RAG) stands out in performance. RAG consists of two components: a retriever and a language model. This study focuses on identifying a suitable retriever method for building codes and optimizing the generational capability of the language model using fine-tuning techniques. We conducted a detailed evaluation of various retrieval methods by performing the retrieval on the National Building Code of Canada (NBCC) and explored the impact of domain-specific fine-tuning on several language models using the dataset derived from NBCC. Our analysis included a comparative assessment of different retrievers and the performance of both pre-trained and fine-tuned models to determine the efficacy and domain-specific adaptation of language models using fine-tuning on the NBCC dataset. Experimental results showed that Elasticsearch proved to be the most robust retriever among all. The findings also indicate that fine-tuning language models on an NBCC-specific dataset can enhance their ability to generate contextually relevant responses. When combined with context retrieved by a powerful retriever like Elasticsearch, this improvement in LLM performance can optimize the RAG system, enabling it to better navigate the complexities of the NBCC.
• Abstract（参考訳）: 建築法典は、構造的整合性、防火、アクセシビリティを確保するために、建物の設計、建設、安全性の基準を確立する規則である。 多くの場合、広範囲で複雑で頻繁に更新されるため、手動のクエリが難しく、時間がかかります。 主な課題は、大量のテキストをナビゲートすること、技術的言語を解釈すること、異なるセクションにまたがる関連する節を特定することである。 潜在的な解決策は、ビルドコードに基づいてユーザクエリに回答するQA(QA)システムを構築することである。 QAシステムを構築するための様々な方法のうち、RAG(Retrieval-Augmented Generation)のパフォーマンスは際立っている。 RAGは、レトリバーと言語モデルという2つのコンポーネントから構成される。 本研究では,コード構築に適した検索手法の同定と,微調整手法を用いて言語モデルの生成能力を最適化することに焦点を当てた。 カナダ国立建築コード (NBCC) で検索を行うことにより, 様々な検索手法の詳細な評価を行い, NBCCから派生したデータセットを用いて, ドメイン固有の微調整が複数の言語モデルに与える影響について検討した。 本分析では, NBCCデータセットの微調整による言語モデルの有効性とドメイン固有適応性を決定するために, 事前学習モデルと微調整モデルの比較検討を行った。 実験の結果,Elasticsearchが最も頑健なリトリーバーであることが判明した。 また,NBCC固有のデータセット上での微調整言語モデルにより,文脈に関連のある応答を生成する能力が向上することが示唆された。 Elasticsearchのような強力なレトリバーが取得したコンテキストと組み合わせることで、このLLM性能の改善はRAGシステムの最適化を可能にし、NBCCの複雑さをよりよくナビゲートすることができる。

関連論文リスト

• Context-Guided Dynamic Retrieval for Improving Generation Quality in RAG Models [2.9687381456164004]
  意味理解と知識スケジューリングの効率化を図るための状態認識型動的知識検索機構を提案する。 提案した構造は, GPT-4, GPT-4o, DeepSeek など,様々な大規模モデルで徹底的に評価されている。 このアプローチはまた、意味的あいまいさとマルチドキュメント融合を含むタスクにおいて、強い堅牢性と生成一貫性を示す。
  論文  参考訳（メタデータ） (2025-04-28T02:50:45Z)
• Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
  そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。 我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
  論文  参考訳（メタデータ） (2025-04-07T06:55:15Z)
• Bactrainus: Optimizing Large Language Models for Multi-hop Complex Question Answering Tasks [5.439505575097552]
  本研究では,HotpotQAデータセットを用いて,大規模言語モデルのドメイン固有タスク実行能力を評価する。 このタスクは、これらのモデルの言語理解能力を評価するための挑戦的なベンチマークとなる。 その結果,これらの手法と大規模言語モデルを統合することで,F1スコアの最大4%の改善が期待できることがわかった。
  論文  参考訳（メタデータ） (2025-01-10T18:44:06Z)
• Large Language Model Can Be a Foundation for Hidden Rationale-Based Retrieval [12.83513794686623]
  本稿では,隠れ合理性検索という,より困難なタイプの検索タスクを提案し,検討する。 このような問題に対処するためには、命令調整付き大規模言語モデル(LLM)とクロスエンコーダアーキテクチャが妥当な選択である可能性がある。 我々は、RaHoReによってこの検索フレームワークを命名し、感情支援会話(ESC)におけるゼロショットおよび微調整性能上の優位性を検証した。
  論文  参考訳（メタデータ） (2024-12-21T13:19:15Z)
• RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer [1.911678487931003]
  検索ベースの言語モデルは、質問応答タスクにますます採用されている。 我々はREALMフレームワークを適用し,ノルウェー初の検索モデルを開発した。 本研究では,このような学習により,抽出質問応答における読み手のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-04-19T13:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。