論文の概要: Question answering system of bridge design specification based on large language model

• arxiv url: http://arxiv.org/abs/2408.13282v1
• Date: Mon, 26 Aug 2024 02:53:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 20:20:40.556243
• Title: Question answering system of bridge design specification based on large language model
• Title（参考訳）: 大規模言語モデルに基づく橋梁設計仕様の質問応答システム
• Authors: Leye Zhang, Xiangxiang Tian, Hongjun Zhang,
• Abstract要約: 本稿では,大規模言語モデルに基づく橋梁設計仕様のための質問応答システムを構築する。 3つの実装方式が試みられている: Bert事前学習モデルの完全な微調整、Bert事前学習モデルのパラメータ効率の高い微調整、およびゼロから自己構築言語モデル。
• 参考スコア（独自算出の注目度）: 1.5496299906248863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper constructs question answering system for bridge design specification based on large language model. Three implementation schemes are tried: full fine-tuning of the Bert pretrained model, parameter-efficient fine-tuning of the Bert pretrained model, and self-built language model from scratch. Through the self-built question and answer task dataset, based on the tensorflow and keras deep learning platform framework, the model is constructed and trained to predict the start position and end position of the answer in the bridge design specification given by the user. The experimental results show that full fine-tuning of the Bert pretrained model achieves 100% accuracy in the training-dataset, validation-dataset and test-dataset, and the system can extract the answers from the bridge design specification given by the user to answer various questions of the user; While parameter-efficient fine-tuning of the Bert pretrained model and self-built language model from scratch perform well in the training-dataset, their generalization ability in the test-dataset needs to be improved. The research of this paper provides a useful reference for the development of question answering system in professional field.
• Abstract（参考訳）: 本稿では,大規模言語モデルに基づく橋梁設計仕様のための質問応答システムを構築する。 3つの実装方式が試みられている: Bert事前学習モデルの完全な微調整、Bert事前学習モデルのパラメータ効率の高い微調整、およびゼロから自己構築言語モデル。 テンソルフローとケラスのディープラーニングプラットフォームフレームワークに基づいて,自己構築された質問・回答タスクデータセットを通じて,ユーザが指定したブリッジ設計仕様において,回答の開始位置と終了位置を予測するためにモデルを構築,訓練する。 実験結果から,Bert事前学習モデルの完全微調整は,トレーニングデータセット,検証データセット,テストデータセットにおいて100%の精度を達成でき,利用者の様々な質問に答えるために橋梁設計仕様から回答を抽出できることがわかった。 本研究は,専門分野における質問応答システムの開発に有用な参考資料を提供する。

関連論文リスト

• ImageNet-RIB Benchmark: Large Pre-Training Datasets Don't Guarantee Robustness after Fine-Tuning [30.422932548359952]
  我々は、新しい堅牢な微調整ベンチマーク ImageNet-RIB (Robustness Inheritance Benchmark) を導入する。 ベンチマークは関連するが、個別の(ダウンストリーム)タスクで構成されている。 連続学習法であるEWCとLwFは微調整後の堅牢性を維持していることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T22:33:22Z)
• Automatic Pruning of Fine-tuning Datasets for Transformer-based Language Models [13.340191056212692]
  微調整タスクのトレーニングセットを対象とした自動データセット解析手法を提案する。 提案手法は,データセットのプルーニングに使用する複数のサブセットを提供する。 5つの下流タスクと2つの言語モデルの実験は、平均して、優勝チケットのサブセットを微調整すると、モデルの評価性能が0.1%上昇することを示している。
  論文  参考訳（メタデータ） (2024-07-11T22:46:18Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• How to Train an Accurate and Efficient Object Detection Model on Any Dataset [0.0]
  オブジェクト検出訓練のためのデータセットに依存しないテンプレートを提案する。 慎重に選択され、事前訓練されたモデルと、さらなるトレーニングのための堅牢なトレーニングパイプラインで構成される。 私たちのソリューションは最初から動作し、幅広いデータセットに対して強力なベースラインを提供します。
  論文  参考訳（メタデータ） (2022-11-30T17:09:01Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• A Comparative Study of Transformer-Based Language Models on Extractive Question Answering [0.5079811885340514]
  事前訓練された言語モデルをトレーニングし、複数の質問応答データセットでそれらを微調整する。 F1スコアを基準として、RoBERTaとBARTが事前トレーニングされたモデルは、すべてのデータセットで最高のパフォーマンスを発揮します。
  論文  参考訳（メタデータ） (2021-10-07T02:23:19Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Utilizing Bidirectional Encoder Representations from Transformers for Answer Selection [16.048329028104643]
  我々は、大規模なデータセットにおける言語モデリングタスクにトランスフォーマーベースのモデルを採用し、下流タスクに微調整する。 回答選択タスクに対するBERTモデルの微調整は非常に効果的であり、QAデータセットでは13.1%、CQAデータセットでは18.7%の最大改善が観察されている。
  論文  参考訳（メタデータ） (2020-11-14T03:15:26Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。