論文の概要: On the effectiveness of Large Language Models in the mechanical design domain

• arxiv url: http://arxiv.org/abs/2505.01559v1
• Date: Fri, 02 May 2025 19:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.174578
• Title: On the effectiveness of Large Language Models in the mechanical design domain
• Title（参考訳）: 機械設計領域における大規模言語モデルの有効性について
• Authors: Daniele Grandi, Fabian Riquelme,
• Abstract要約: ABCデータセットにあるセマンティックデータ、特にデザイナが全体アセンブリに割り当てたアセンブリ名を活用します。 ドメイン固有のデータに対して異なるモデルアーキテクチャがどのように機能するかを評価するために、2つの教師なしタスクを開発した。 ゼロショット分類タスクのモデルでは、ベースラインを広いマージンで上回り、トップ1分類精度は0.386である。
• 参考スコア（独自算出の注目度）: 0.997854155788161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we seek to understand the performance of large language models in the mechanical engineering domain. We leverage the semantic data found in the ABC dataset, specifically the assembly names that designers assigned to the overall assemblies, and the individual semantic part names that were assigned to each part. After pre-processing the data we developed two unsupervised tasks to evaluate how different model architectures perform on domain-specific data: a binary sentence-pair classification task and a zero-shot classification task. We achieved a 0.62 accuracy for the binary sentence-pair classification task with a fine-tuned model that focuses on fighting over-fitting: 1) modifying learning rates, 2) dropout values, 3) Sequence Length, and 4) adding a multi-head attention layer. Our model on the zero-shot classification task outperforms the baselines by a wide margin, and achieves a top-1 classification accuracy of 0.386. The results shed some light on the specific failure modes that arise when learning from language in this domain.
• Abstract（参考訳）: 本研究では,機械工学領域における大規模言語モデルの性能について考察する。 ABCデータセットにあるセマンティックデータ、特に設計者が全体アセンブリに割り当てられたアセンブリ名、各部分に割り当てられた個々のセマンティック部分名を利用する。 データを前処理した後、我々は2つの教師なしタスクを開発し、ドメイン固有のデータに対して異なるモデルアーキテクチャがどのように機能するかを評価する。 オーバーフィットに焦点をあてた微調整モデルを用いて,二分文ペア分類タスクにおいて0.62の精度を達成した。 1)学習率の変更。 2) ドロップアウト値。 3)シーケンス長,及び 4)多面的注意層の追加。 ゼロショット分類タスクのモデルでは、ベースラインを広いマージンで上回り、トップ1分類精度は0.386である。 その結果、このドメインで言語から学ぶ際に発生する特定の障害モードにいくつかの光を当てた。

関連論文リスト

• Automatic Pruning of Fine-tuning Datasets for Transformer-based Language Models [13.340191056212692]
  微調整タスクのトレーニングセットを対象とした自動データセット解析手法を提案する。 提案手法は,データセットのプルーニングに使用する複数のサブセットを提供する。 5つの下流タスクと2つの言語モデルの実験は、平均して、優勝チケットのサブセットを微調整すると、モデルの評価性能が0.1%上昇することを示している。
  論文  参考訳（メタデータ） (2024-07-11T22:46:18Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Breaking Free Transformer Models: Task-specific Context Attribution Promises Improved Generalizability Without Fine-tuning Pre-trained LLMs [1.5138606851862884]
  本稿では,一般化性を維持し,下流タスクの性能を向上させるフレームワークを提案する。 タスク固有の概念演算子を用いて任意の変換器モデルからテキスト表現を線形変換すると、潜在概念空間に投影されることを示す。 HateXplain,IMDB Review,Social Media Attributionsという3つのデータセットの実験結果から,提案モデルが精度と一般化性に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-01-30T00:23:29Z)
• Learning from Mistakes: Self-Regularizing Hierarchical Representations in Point Cloud Semantic Segmentation [15.353256018248103]
  LiDARセマンティックセマンティックセマンティクスは、きめ細かいシーン理解を実現するために注目を集めている。 本稿では、標準モデルから派生した分類ミスタケス(LEAK)からLEArnを分離する粗大な設定を提案する。 我々のLEAKアプローチは非常に一般的で、どんなセグメンテーションアーキテクチャにもシームレスに適用できます。
  論文  参考訳（メタデータ） (2023-01-26T14:52:30Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Zero-Shot Text Classification with Self-Training [8.68603153534916]
  ゼロショット分類器を最も確実な予測で微調整することで、幅広いテキスト分類タスクにおいて大幅な性能向上が期待できることを示す。 自己学習は、手元にあるタスクにゼロショットモデルを適用する。
  論文  参考訳（メタデータ） (2022-10-31T17:55:00Z)
• MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
  セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。 一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。 MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
  論文  参考訳（メタデータ） (2021-12-27T16:16:35Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Fine-Grained Visual Classification with Efficient End-to-end Localization [49.9887676289364]
  本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。 我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
  論文  参考訳（メタデータ） (2020-05-11T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。