論文の概要: Top-Rank-Focused Adaptive Vote Collection for the Evaluation of
Domain-Specific Semantic Models
- arxiv url: http://arxiv.org/abs/2010.04486v1
- Date: Fri, 9 Oct 2020 10:20:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 04:05:05.641106
- Title: Top-Rank-Focused Adaptive Vote Collection for the Evaluation of
Domain-Specific Semantic Models
- Title（参考訳）: ドメイン特化セマンティックモデル評価のためのトップランク焦点適応投票コレクション
- Authors: Pierangelo Lombardo, Alessio Boiardi, Luca Colombo, Angelo Schiavone,
Nicol\`o Tamagnone
- Abstract要約: 多くの場合、コンテンツベースのレコメンデーターは、特定の概念に対する意味的関連性に基づいて、特に上位に焦点をあてて、単語やテキストのランク付けを要求される。
本研究は,これらの要件に対処するための3倍のコントリビューションを提供する: (i) 利用可能なリソースに基づいて調整された関連性に基づく評価データセットの構築のためのプロトコルを定義し,特にトップランク評価において正確であるように最適化する; (ii) 適切なメトリクス,よく知られたランキング相関係数の拡張を定義し,上記のデータセットを用いてセマンティックモデルを評価する。
- 参考スコア（独自算出の注目度）: 0.3359875577705538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growth of domain-specific applications of semantic models, boosted by the
recent achievements of unsupervised embedding learning algorithms, demands
domain-specific evaluation datasets. In many cases, content-based recommenders
being a prime example, these models are required to rank words or texts
according to their semantic relatedness to a given concept, with particular
focus on top ranks. In this work, we give a threefold contribution to address
these requirements: (i) we define a protocol for the construction, based on
adaptive pairwise comparisons, of a relatedness-based evaluation dataset
tailored on the available resources and optimized to be particularly accurate
in top-rank evaluation; (ii) we define appropriate metrics, extensions of
well-known ranking correlation coefficients, to evaluate a semantic model via
the aforementioned dataset by taking into account the greater significance of
top ranks. Finally, (iii) we define a stochastic transitivity model to simulate
semantic-driven pairwise comparisons, which confirms the effectiveness of the
proposed dataset construction protocol.
- Abstract（参考訳）: セマンティクスモデルのドメイン固有応用の成長は、教師なし組込み学習アルゴリズムの最近の成果によって加速され、ドメイン固有評価データセットを要求する。
多くの場合、コンテンツベースのレコメンデーターが主要な例として、これらのモデルは、特定の概念に対する意味的関連性に基づいて単語やテキストをランク付けする必要がある。
この作業では、これらの要件に対処するために3倍の貢献をします。
一 利用可能な資源に合わせた関係性に基づく評価データセットの適応的な対数比較に基づいて構築のためのプロトコルを定め、上位評価において特に正確であるように最適化する。
(ii)上位階層の意義を考慮に入れ,上述のデータセットを通じて意味モデルを評価するために,適切な指標,よく知られたランキング相関係数の拡張を定義する。
最後に
(iii)semantic-driven pairwise comparisonsをシミュレートする確率的推移モデルを定義し,提案するデータセット構築プロトコルの有効性を確認した。
関連論文リスト
- An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - On the Evaluation Consistency of Attribution-based Explanations [42.1421504321572]
本稿では,画像領域における属性メソッドのベンチマークを行うオープンプラットフォームであるMeta-Rankを紹介する。
1) 異なる設定下での属性評価手法の評価は、異なる性能ランキングを得ることができ、2) 多数のケースで矛盾するが、同一のトレーニング軌道に沿った個別のチェックポイントにまたがる顕著な一貫性を示す。
論文 参考訳（メタデータ） (2024-07-28T11:49:06Z) - Improving Context-Aware Preference Modeling for Language Models [62.32080105403915]
本稿では、まず、文脈を選択し、選択した文脈に対する嗜好を評価することによって、不特定性を解決する2段階の選好モデリング手法について考察する。
我々は、文脈条件付き嗜好データセットと実験に貢献し、文脈特化選好を評価する言語モデルの能力について検討する。
論文 参考訳（メタデータ） (2024-07-20T16:05:17Z) - FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。
モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文 参考訳（メタデータ） (2023-07-20T14:56:35Z) - Contextual Dictionary Lookup for Knowledge Graph Completion [32.493168863565465]
知識グラフ補完(KGC)は、知識グラフの不完全性(KGs)を解決することを目的として、既知の三重項から欠落するリンクを予測する。
既存の埋め込みモデルは、それぞれの関係を一意なベクトルにマッピングし、異なる実体の下でそれらの特定の粒度のセマンティクスを見渡す。
本稿では,従来の埋め込みモデルを用いて,関係の微粒なセマンティクスをエンド・ツー・エンドで学習することのできる,文脈辞書検索を利用した新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-13T12:13:41Z) - Prompt Algebra for Task Composition [131.97623832435812]
素早いチューニングを伴うビジュアル言語モデルを基本分類器として検討する。
合成分類器の性能向上のための制約付きプロンプトチューニングを提案する。
UTZapposでは、最高のベースモデルに対する分類精度を平均8.45%向上させる。
論文 参考訳（メタデータ） (2023-06-01T03:20:54Z) - Conceptually Diverse Base Model Selection for Meta-Learners in Concept
Drifting Data Streams [3.0938904602244355]
本稿では,基礎となる部分空間間の主アングル(PA)を用いて計算したベースモデルの概念的類似性を推定するための新しいアプローチを提案する。
オンライン・トランスファー・ラーニング(TL)の文脈における共通アンサンブル・プルーニング・メトリクス、すなわち予測性能と相互情報(MI)を用いた閾値付けに対するこれらの手法の評価を行った。
その結果、概念的類似度閾値は計算オーバーヘッドを低減し、予測性能とMIを用いて閾値に匹敵する予測性能が得られることがわかった。
論文 参考訳（メタデータ） (2021-11-29T13:18:53Z) - Combining Task Predictors via Enhancing Joint Predictability [53.46348489300652]
そこで本研究では,目標予測能力に基づいて参照の関連性を測定し,その関連性を高めるための新しい予測器組合せアルゴリズムを提案する。
提案アルゴリズムはベイズフレームワークを用いて,すべての参照の関連性について共同で評価する。
視覚属性ランキングとマルチクラス分類シナリオから得られた実世界の7つのデータセットの実験に基づいて,本アルゴリズムが性能向上に寄与し,既存の予測器の組み合わせアプローチの適用範囲を広くすることを示した。
論文 参考訳（メタデータ） (2020-07-15T21:58:39Z) - Evaluating Text Coherence at Sentence and Paragraph Levels [17.99797111176988]
本稿では,既存の文順序付け手法の段落順序付けタスクへの適応について検討する。
また、ミニデータセットとノイズの多いデータセットを人工的に作成することで、既存のモデルの学習性と堅牢性を比較する。
我々は、リカレントグラフニューラルネットワークに基づくモデルがコヒーレンスモデリングの最適選択であると結論付けている。
論文 参考訳（メタデータ） (2020-06-05T03:31:49Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。