論文の概要: Harbsafe-162. A Domain-Specific Data Set for the Intrinsic Evaluation of
Semantic Representations for Terminological Data
- arxiv url: http://arxiv.org/abs/2005.14576v1
- Date: Fri, 29 May 2020 13:56:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 23:40:56.255879
- Title: Harbsafe-162. A Domain-Specific Data Set for the Intrinsic Evaluation of
Semantic Representations for Terminological Data
- Title（参考訳）: ハーブセーフ-162
用語データの意味表現を内在的に評価するためのドメイン固有データセット
- Authors: Susanne Arndt, Dieter Schn\"app
- Abstract要約: この記事では、分布意味モデルを評価するためのドメイン固有のデータセットであるHarbsafe-162について述べる。
Harbsafe-162は、機能安全、ITセキュリティ、信頼性の分野における9つの電気技術標準のデータをカバーしている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The article presents Harbsafe-162, a domain-specific data set for evaluating
distributional semantic models. It originates from a cooperation by Technische
Universit\"at Braunschweig and the German Commission for Electrical, Electronic
& Information Technologies of DIN and VDE, the Harbsafe project. One objective
of the project is to apply distributional semantic models to terminological
entries, that is, complex lexical data comprising of at least one or several
terms, term phrases and a definition. This application is needed to solve a
more complex problem: the harmonization of terminologies of standards and
standards bodies (i.e. resolution of doublettes and inconsistencies). Due to a
lack of evaluation data sets for terminological entries, the creation of
Harbsafe-162 was a necessary step towards harmonization assistance.
Harbsafe-162 covers data from nine electrotechnical standards in the domain of
functional safety, IT security, and dependability. An intrinsic evaluation
method in the form of a similarity rating task has been applied in which two
linguists and three domain experts from standardization participated. The data
set is used to evaluate a specific implementation of an established sentence
embedding model. This implementation proves to be satisfactory for the
domain-specific data so that further implementations for harmonization
assistance may be brought forward by the project. Considering recent criticism
on intrinsic evaluation methods, the article concludes with an evaluation of
Harbsafe-162 and joins a more general discussion about the nature of similarity
rating tasks. Harbsafe-162 has been made available for the community.
- Abstract（参考訳）: この記事では、分布意味モデルを評価するためのドメイン固有のデータセットであるHarbsafe-162について述べる。
ブラウンシュヴァイク工科大学とドイツのdinとvdeの電気・電子・情報技術委員会(harbsafe project)による協力から生まれた。
プロジェクトの目的は、少なくとも1つまたは複数の用語、用語句、定義からなる複雑な語彙データである、用語のエントリに分布意味モデルを適用することである。
このアプリケーションは、より複雑な問題を解決するために必要である: 標準と標準化団体の用語の調和(すなわち、重複と矛盾の解決)。
用語的エントリに対する評価データセットが不足していたため、ハーブセーフ-162は調和支援のための必要なステップであった。
Harbsafe-162は、機能安全、ITセキュリティ、信頼性の分野における9つの電気技術標準のデータをカバーする。
2人の言語学者と3人の標準化の専門家が参加した類似度評価タスクという本質的評価手法が適用されている。
データセットは、確立された文埋め込みモデルの特定の実装を評価するために使用される。
この実装はドメイン固有のデータに満足していることが証明され、ハーモニゼーション支援のためのさらなる実装がプロジェクトによって進められる可能性がある。
近年の本質的評価手法に対する批判を踏まえ、本論文はHarbsafe-162の評価を結論として、類似性評価タスクの性質に関するより一般的な議論に参加する。
Harbsafe-162がコミュニティで利用可能になった。
関連論文リスト
- CODES: Benchmarking Coupled ODE Surrogates [0.0]
CODESは、結合ODEシステムのためのサロゲートアーキテクチャの包括的な評価のためのベンチマークである。
統合並列トレーニング、Webベースの設定ジェネレータ、事前実装されたベースラインモデルとデータセットなどの機能を通じて、ユーザビリティを強調している。
論文 参考訳（メタデータ） (2024-10-28T10:12:06Z) - CoUDA: Coherence Evaluation via Unified Data Augmentation [49.37157483044349]
コヒーレンス評価は、談話の組織と構造を評価することを目的としている。
談話構造に関する言語理論から着想を得て,CoUDAというデータ拡張フレームワークを提案する。
233Mパラメータだけで、CoUDAはポイントワイドのスコアリングとペアワイドのランキングタスクの両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-03-31T13:19:36Z) - Coherent Entity Disambiguation via Modeling Topic and Categorical
Dependency [87.16283281290053]
従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。
本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。
我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-11-06T16:40:13Z) - A Novel Computational and Modeling Foundation for Automatic Coherence Assessment [13.430637580980164]
コヒーレンス(Coherence)は、テキスト単位が相互に関連付ける方法を指す、よく書かれたテキストの本質的な性質である。
本研究では,3つの条件 – em cohesion, consistency, emlevance – から成る談話コヒーレント(concourse coherent)を形式的に定義し,これらの条件をそれぞれ計算タスクとして定式化する。
人間によるコヒーレンス評価のための2つのベンチマークで、そのうち1つは、自動生成された500個の短編記事、もう1つは4万個の現実世界のテキストを含む。
論文 参考訳（メタデータ） (2023-10-01T07:06:17Z) - Robust Consensus in Ranking Data Analysis: Definitions, Properties and
Computational Issues [2.867517731896504]
本稿では,コンセンサスランク付けのための頑健性の概念と専用統計手法を紹介する。
本稿では、コンセンサスランキングに合わせた、一般的なブレークダウンポイントの概念の具体的な拡張を提案する。
論文 参考訳（メタデータ） (2023-03-22T19:36:56Z) - A Survey of Secure Computation Using Trusted Execution Environments [80.58996305474842]
本稿では、TEEベースのセキュアな計算プロトコルの体系的なレビューと比較を行う。
まず、セキュアな計算プロトコルを3つの主要なカテゴリ、すなわち、セキュアなアウトソース計算、セキュアな分散計算、セキュアなマルチパーティ計算に分類する分類法を提案する。
これらの基準に基づき,汎用計算関数と特殊目的計算の両方に対して,最先端のTEEベースのセキュアな計算プロトコルを検証,検討し,比較する。
論文 参考訳（メタデータ） (2023-02-23T16:33:56Z) - SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。
我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。
DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
論文 参考訳（メタデータ） (2023-01-25T09:33:11Z) - LaMDA: Language Models for Dialog Applications [75.75051929981933]
LaMDAは、ダイアログに特化したトランスフォーマーベースのニューラルネットワークモデルのファミリーである。
注釈付きデータで微調整し、モデルが外部の知識ソースを参照できるようにすると、大幅な改善がもたらされる。
論文 参考訳（メタデータ） (2022-01-20T15:44:37Z) - Predicting Themes within Complex Unstructured Texts: A Case Study on
Safeguarding Reports [66.39150945184683]
本稿では,教師付き分類手法を用いた保護レポートにおいて,主テーマの自動識別の問題に焦点をあてる。
この結果から,ラベル付きデータに制限のある複雑なタスクであっても,深層学習モデルが対象知識の振る舞いをシミュレートする可能性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T19:48:23Z) - Top-Rank-Focused Adaptive Vote Collection for the Evaluation of
Domain-Specific Semantic Models [0.3359875577705538]
多くの場合、コンテンツベースのレコメンデーターは、特定の概念に対する意味的関連性に基づいて、特に上位に焦点をあてて、単語やテキストのランク付けを要求される。
本研究は,これらの要件に対処するための3倍のコントリビューションを提供する: (i) 利用可能なリソースに基づいて調整された関連性に基づく評価データセットの構築のためのプロトコルを定義し,特にトップランク評価において正確であるように最適化する; (ii) 適切なメトリクス,よく知られたランキング相関係数の拡張を定義し,上記のデータセットを用いてセマンティックモデルを評価する。
論文 参考訳（メタデータ） (2020-10-09T10:20:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。