論文の概要: Evaluating Large Language Models for Material Selection

• arxiv url: http://arxiv.org/abs/2405.03695v1
• Date: Tue, 23 Apr 2024 18:53:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-12 15:50:33.685704
• Title: Evaluating Large Language Models for Material Selection
• Title（参考訳）: 材料選択のための大規模言語モデルの評価
• Authors: Daniele Grandi, Yash Patawari Jain, Allin Groom, Brandon Cramer, Christopher McComb,
• Abstract要約: 本研究では,製品設計プロセスにおける材料選択におけるLarge Language Models (LLMs) の利用について検討する。 専門家の素材選好のデータセットを収集することにより、LLMが専門家の推薦とどの程度うまく一致できるかを評価する基盤を提供する。
• 参考スコア（独自算出の注目度）: 0.7651363144274104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Material selection is a crucial step in conceptual design due to its significant impact on the functionality, aesthetics, manufacturability, and sustainability impact of the final product. This study investigates the use of Large Language Models (LLMs) for material selection in the product design process and compares the performance of LLMs against expert choices for various design scenarios. By collecting a dataset of expert material preferences, the study provides a basis for evaluating how well LLMs can align with expert recommendations through prompt engineering and hyperparameter tuning. The divergence between LLM and expert recommendations is measured across different model configurations, prompt strategies, and temperature settings. This approach allows for a detailed analysis of factors influencing the LLMs' effectiveness in recommending materials. The results from this study highlight two failure modes, and identify parallel prompting as a useful prompt-engineering method when using LLMs for material selection. The findings further suggest that, while LLMs can provide valuable assistance, their recommendations often vary significantly from those of human experts. This discrepancy underscores the need for further research into how LLMs can be better tailored to replicate expert decision-making in material selection. This work contributes to the growing body of knowledge on how LLMs can be integrated into the design process, offering insights into their current limitations and potential for future improvements.
• Abstract（参考訳）: 材料選択は、最終製品の機能性、美学、製造性、持続可能性への影響に大きな影響を与えるため、概念設計における重要なステップである。 本研究では,製品設計プロセスにおける材料選択におけるLarge Language Models (LLMs) の利用について検討し,各種設計シナリオのエキスパート選択とLCMの性能を比較した。 専門家の素材選好のデータセットを収集することにより、この研究はLLMがプロンプトエンジニアリングとハイパーパラメータチューニングを通じて、専門家の推薦とどの程度うまく一致できるかを評価する基盤を提供する。 LLMとエキスパートレコメンデーションのばらつきは、異なるモデル構成、プロンプト戦略、温度設定で測定される。 このアプローチは、レコメンデーション材料におけるLCMの有効性に影響を与える要因の詳細な分析を可能にする。 本研究は, 2つの故障モードに着目し, LLMを材料選択に用いる場合に有用なプロンプトエンジニアリング手法として並列プロンプトを同定した。 さらに、LSMは貴重な支援を提供することができるが、その推奨は人間の専門家と大きく異なることが示唆されている。 この相違は、LLMが物質選択において専門家による意思決定を再現するためにどのように調整されるか、さらなる研究の必要性を浮き彫りにしている。 この研究は、LLMを設計プロセスに組み込む方法に関する知識の高まりに寄与し、現在の制限と将来の改善の可能性についての洞察を提供する。

関連論文リスト

• Systematic Analysis of LLM Contributions to Planning: Solver, Verifier, Heuristic [6.687149103409949]
  大規模言語モデル(LLM)が計画問題の解決にどのように貢献するかを系統的に分析する。 解析の結果,LLMは最適計画を生成するのが難しいが,中間/不完全解に対してフィードバック信号を提供するのがはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T18:16:46Z)
• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Large Language Model Agent as a Mechanical Designer [7.136205674624813]
  本研究では,FEMモジュールと事前学習LLMを統合する新しい手法を提案する。 FEMモジュールはそれぞれの設計を評価し、重要なフィードバックを提供し、LLMにドメイン固有のトレーニングを必要とせずに継続的に学習し、計画し、生成し、設計を最適化するよう指示する。 その結果, LLMをベースとしたエージェントは, 自然言語仕様に準拠したトラスを最大90%の確率で生成できることがわかった。
  論文  参考訳（メタデータ） (2024-04-26T16:41:24Z)
• Sample Design Engineering: An Empirical Study of What Makes Good Downstream Fine-Tuning Samples for LLMs [23.766782325052418]
  本稿では,大規模言語モデルの性能向上のための方法論的アプローチであるサンプル設計工学(SDE)を紹介する。 LLMのダウンストリーム性能に対する様々な設計オプションの影響を評価するために、一連のドメイン内(ID)および外部(OOD)実験を行う。 本稿では,SDE統合戦略を提案し,最も効果的な選択肢を組み合わせるとともに,複雑な下流タスクにおけるサンプル設計よりも一貫した優位性を検証した。
  論文  参考訳（メタデータ） (2024-04-19T17:47:02Z)
• LLM In-Context Recall is Prompt Dependent [0.0]
  これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。 本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-13T01:13:59Z)
• Tapping the Potential of Large Language Models as Recommender Systems: A Comprehensive Framework and Empirical Analysis [91.5632751731927]
  ChatGPTのような大規模言語モデルは、一般的なタスクを解く際、顕著な能力を示した。 本稿では,レコメンデーションタスクにおけるLLMの活用のための汎用フレームワークを提案し,レコメンデーションタスクとしてのLLMの機能に着目した。 提案手法は,提案手法が推薦結果に与える影響を解析し,提案手法とモデルアーキテクチャ,パラメータスケール,コンテキスト長について検討する。
  論文  参考訳（メタデータ） (2024-01-10T08:28:56Z)
• T-Eval: Evaluating the Tool Utilization Capability of Large Language Models Step by Step [69.64348626180623]
  大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を達成した。 LLMのツール活用能力の評価と分析方法はまだ未検討である。 ツール利用能力を段階的に評価するためにT-Evalを導入する。
  論文  参考訳（メタデータ） (2023-12-21T17:02:06Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。