論文の概要: Benchmarking pre-trained text embedding models in aligning built asset information

• arxiv url: http://arxiv.org/abs/2411.12056v1
• Date: Mon, 18 Nov 2024 20:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:36.936193
• Title: Benchmarking pre-trained text embedding models in aligning built asset information
• Title（参考訳）: 組込み資産情報の整合性を考慮した事前学習テキスト埋め込みモデルのベンチマーク
• Authors: Mehrzad Shahinmoghadam, Ali Motamedi,
• Abstract要約: 本研究では、組立資産情報とドメイン固有の技術的概念の整合性を評価するため、最先端のテキスト埋め込みモデルの比較ベンチマークを提案する。 提案した6つのデータセットを対象としたベンチマークの結果は、クラスタリング、検索、再ランク付けの3つのタスクをカバーし、将来のドメイン適応技術の研究の必要性を強調している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Accurate mapping of the built asset information to established data classification systems and taxonomies is crucial for effective asset management, whether for compliance at project handover or ad-hoc data integration scenarios. Due to the complex nature of built asset data, which predominantly comprises technical text elements, this process remains largely manual and reliant on domain expert input. Recent breakthroughs in contextual text representation learning (text embedding), particularly through pre-trained large language models, offer promising approaches that can facilitate the automation of cross-mapping of the built asset data. However, no comprehensive evaluation has yet been conducted to assess these models' ability to effectively represent the complex semantics specific to built asset technical terminology. This study presents a comparative benchmark of state-of-the-art text embedding models to evaluate their effectiveness in aligning built asset information with domain-specific technical concepts. Our proposed datasets are derived from two renowned built asset data classification dictionaries. The results of our benchmarking across six proposed datasets, covering three tasks of clustering, retrieval, and reranking, highlight the need for future research on domain adaptation techniques. The benchmarking resources are published as an open-source library, which will be maintained and extended to support future evaluations in this field.
• Abstract（参考訳）: 構築された資産情報の確立されたデータ分類システムや分類学への正確なマッピングは、プロジェクトのハンドオーバにおけるコンプライアンスや、アドホックなデータ統合シナリオのいずれにおいても、効果的な資産管理には不可欠である。 技術的テキスト要素を主体とする構築された資産データの複雑な性質のため、このプロセスは手作業で行われ、ドメインエキスパートの入力に依存している。 コンテキストテキスト表現学習(テキスト埋め込み)の最近の進歩は、特に事前訓練された大規模言語モデルを通じて、構築されたアセットデータのクロスマッピングの自動化を促進する、有望なアプローチを提供する。 しかし、これらのモデルが構築された技術的用語に特有の複雑な意味を効果的に表現する能力を評価するための包括的な評価はまだ行われていない。 本研究では、組立資産情報とドメイン固有の技術的概念の整合性を評価するため、最先端のテキスト埋め込みモデルの比較ベンチマークを提案する。 提案するデータセットは,2つの有名なアセットデータ分類辞書から得られたものである。 提案した6つのデータセットを対象としたベンチマークの結果は、クラスタリング、検索、再ランク付けの3つのタスクをカバーし、将来のドメイン適応技術の研究の必要性を強調している。 ベンチマークリソースはオープンソースライブラリとして公開されており、この分野での今後の評価をサポートするために、メンテナンスと拡張が予定されている。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities [0.0]
  本稿では,MaterioMinerデータセットと,オントロジの概念がテキストの実体と結びついている材料オントロジーについて述べる。 本稿では,3つのレーダ間の整合性について検討し,名前付きプロセス認識モデルトレーニングの実現可能性を示す。
  論文  参考訳（メタデータ） (2024-08-05T21:42:59Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• GPT Struct Me: Probing GPT Models on Narrative Entity Extraction [2.049592435988883]
  我々は,2つの最先端言語モデル(GPT-3とGPT-3.5)の物語の抽出能力を評価する。 本研究はポルトガルの119のニュース記事を集めたText2Story Lusaデータセットを用いて行った。
  論文  参考訳（メタデータ） (2023-11-24T16:19:04Z)
• Beyond Accuracy: Measuring Representation Capacity of Embeddings to Preserve Structural and Contextual Information [1.8130068086063336]
  埋め込みのテキスト表現能力を測定する手法を提案する。 この研究の背後にある動機は、埋め込みの強さと限界を理解することの重要性にある。 提案手法は, 埋込評価の分野の進展に寄与するだけでなく, 研究者や実践者に定量的な測定力を与える。
  論文  参考訳（メタデータ） (2023-09-20T13:21:12Z)
• Leveraging Contextual Information for Effective Entity Salience Detection [21.30389576465761]
  クロスエンコーダアーキテクチャを用いた中規模言語モデルの微調整により,機能工学的アプローチよりも優れた性能が得られることを示す。 また、命令調整言語モデルのゼロショットプロンプトは、タスクの特異性と複雑さを示す劣った結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-09-14T19:04:40Z)
• Modeling Entities as Semantic Points for Visual Information Extraction in the Wild [55.91783742370978]
  文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。 我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。 提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-03-23T08:21:16Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Summary-Source Proposition-level Alignment: Task, Datasets and Supervised Baseline [94.0601799665342]
  資料の参照要約における文のアライメントは,補助的な要約作業として有用であった。 本稿では,2つの重要な新機能を導入しながら,要約ソースアライメントを明示的なタスクとして確立することを提案する。 我々は提案レベルのアライメントのための新しいトレーニングデータセットを作成し、利用可能な要約評価データから自動的に抽出する。 教師なしアプローチよりも優れたアライメント品質を示す教師付き命題アライメントベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-01T17:27:12Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。