論文の概要、ライセンス

# (参考訳) 生成モデルを用いたopen vocabulary extreme classification [全文訳有]

Open Vocabulary Extreme Classification Using Generative Models ( http://arxiv.org/abs/2205.05812v1 )

ライセンス: CC BY 4.0
Daniel Simig, Fabio Petroni, Pouya Yanki, Kashyap Popat, Christina Du, Sebastian Riedel, Majid Yazdani(参考訳) 極端なマルチラベル分類(XMC)タスクは、非常に大きなラベルセットからラベルのサブセットでコンテンツをタグ付けすることを目的としている。 ラベルの語彙は通常、ドメインの専門家によって事前に定義され、必要なタグをすべてキャプチャすると仮定される。 しかし、現実のシナリオでは、このラベルセットは大きいが、しばしば不完全であり、専門家はそれを洗練する必要がある。 この過程を単純化するシステムを開発するために,XMC (open vocabulary XMC) というタスクを導入する。 したがって、ゼロショット分類のように、いくつかのラベルのためのトレーニングデータを持たないことに加えて、モデルはいくつかのラベルをオンザフライで発明する必要がある。 本稿では, ラベルの集合をフラットシーケンスとして生成し, 予測されたラベル順序に依存しない新たな損失を用いて訓練する GROOV を提案する。 提案手法の有効性を示し,既知のラベルに対する最先端のソリューションと同等に実行しながら,groovが与えられた語彙以外の有意義なラベルを予測できる一般的なxmcデータセットを実験する。

The extreme multi-label classification (XMC) task aims at tagging content with a subset of labels from an extremely large label set. The label vocabulary is typically defined in advance by domain experts and assumed to capture all necessary tags. However in real world scenarios this label set, although large, is often incomplete and experts frequently need to refine it. To develop systems that simplify this process, we introduce the task of open vocabulary XMC (OXMC): given a piece of content, predict a set of labels, some of which may be outside of the known tag set. Hence, in addition to not having training data for some labels - as is the case in zero-shot classification - models need to invent some labels on-the-fly. We propose GROOV, a fine-tuned seq2seq model for OXMC that generates the set of labels as a flat sequence and is trained using a novel loss independent of predicted label order. We show the efficacy of the approach, experimenting with popular XMC datasets for which GROOV is able to predict meaningful labels outside the given vocabulary while performing on par with state-of-the-art solutions for known labels.
公開日: Thu, 12 May 2022 00:33:49 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Open Vocabulary Extreme Classification Using Generative Models 生成モデルを用いたopen vocabulary extreme classification 0.86
Daniel Simig, Fabio Petroni, Pouya Yanki, Kashyap Popat, Christina Du, Daniel Simig, Fabio Petroni, Pouya Yanki, Kashyap Popat, Christina Du 0.40
Sebastian Riedel, Majid Yazdani セバスティアン・リーデル、ヤズダニ少佐 0.48
{danielsimig,fabiopet roni,pya,kpopat,xiao du, danielsimig,fabiopet roni,pya,kpopat,xiao du 0.33
sriedel,myazdani}@fb.com sriedel,myazdani}@fb.com 0.46
Meta AI 2 2 0 2 メタAI 2 2 0 2 0.49
y a M 2 1 y a m 2 1 である。 0.62
] L C . s c [ 1 v 2 1 8 5 0 ]LC。 sc [ 1 v 2 1 8 5 0 0.30
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Abstract The extreme multi-label classification (XMC) task aims at tagging content with a subset of labels from an extremely large label set. 概要 極端なマルチラベル分類(XMC)タスクは、非常に大きなラベルセットからラベルのサブセットでコンテンツをタグ付けすることを目的としている。
訳抜け防止モード: 概要 xmc(extreme multi- label classification)タスクの目標 非常に大きなラベルセットからラベルのサブセットでコンテンツにタグ付けする。
0.63
The label vocabulary is typically defined in advance by domain experts and assumed to capture all necessary tags. ラベルの語彙は通常、ドメインの専門家によって事前に定義され、必要なタグをすべてキャプチャすると仮定される。
訳抜け防止モード: ラベル語彙は通常、ドメインの専門家によって事前に定義される 必要なタグを全て つかむと仮定した。
0.66
However in real world scenarios this label set, although large, is often incomplete and experts frequently need to refine it. しかし、現実のシナリオでは、このラベルセットは大きいが、しばしば不完全であり、専門家はそれを洗練する必要がある。 0.55
To develop systems that simplify this process, we introduce the task of open vocabulary XMC (OXMC): given a piece of content, predict a set of labels, some of which may be outside of the known tag set. この過程を単純化するシステムを開発するために,XMC (open vocabulary XMC) というタスクを導入する。
訳抜け防止モード: このプロセスを簡素化するシステムを開発する。 オープン語彙XMC(OXMC)の課題について紹介する。 一片のコンテンツが与えられます ラベルのセットを予測します 既知のタグセットの外かもしれない。
0.74
Hence, in addition to not having training data for some labels–as is the case in zero-shot classification– models need to invent some labels on-thefly. したがって、ゼロショット分類の場合と同様に、いくつかのラベルのためのトレーニングデータを持たないことに加えて、モデルはいくつかのラベルをオンザフライで発明する必要がある。 0.50
We propose GROOV, a fine-tuned seq2seq model for OXMC that generates the set of labels as a flat sequence and is trained using a novel loss independent of predicted label order. 本稿では, ラベルの集合をフラットシーケンスとして生成し, 予測されたラベル順序に依存しない新たな損失を用いて訓練する GROOV を提案する。 0.70
We show the efficacy of the approach, experimenting with popular XMC datasets for which GROOV is able to predict meaningful labels outside the given vocabulary while performing on par with state-of-the-art solutions for known labels. 提案手法の有効性を示し,既知のラベルに対する最先端のソリューションと同等に実行しながら,groovが与えられた語彙以外の有意義なラベルを予測できる一般的なxmcデータセットを実験する。 0.67
1 Introduction Extreme multi-label classification (XMC) aims at predicting a set of labels for a given input instance from an extremely large labels set (Yen et al , 2016, 2017; Babbar and Sch¨olkopf, 2017, 2019). 1 はじめに Extreme Multi-label Classification (XMC)は、非常に大きなラベルセット(Yen et al , 2016; Babbar and Sch solkopf, 2017 2019)から与えられた入力インスタンスのラベルセットを予測することを目的としている。 0.59
Examples for applying extreme classification are labeling a new article with Wikipedia’s categories, classifying a product with catalog labels, classifying a resume into a collection of pertinent job titles. 極端な分類を適用する例としては、wikipediaのカテゴリで新しい記事にラベルを付け、カタログラベルで商品を分類し、履歴書を関連するジョブタイトルのコレクションに分類する。 0.77
Despite the the scale of the label space, it is challenging to a priori capture all the possible ways in which an input instance can be categorized, especially at the industrial scale. ラベル空間のスケールにもかかわらず、特に産業規模において、入力インスタンスを分類できるあらゆる可能な方法を事前に捉えることは困難である。 0.68
Real-world eCommerce platforms, for instance, contain billions of products from thousands of different categories 例えば、現実世界のeコマースプラットフォームには、何千ものカテゴリーの何十億もの製品が含まれている 0.63
that are continuously updated by human curators for all sort of reasons (e g , see category changes in eBay (2021)). あらゆる理由で、人間のキュレーターによって継続的に更新される(例:eBay(2021年)のカテゴリ変更を参照)。 0.78
In this work we introduce the open vocabulary XMC task, where we measure the ability of models to go beyond the given vocabulary and automatically propose new labels that might complement the existing ones and fill gaps in the vocabulary. 本研究はオープン語彙XMCタスクを導入し、モデルが与えられた語彙を超える能力を測定し、既存の単語を補完し、語彙のギャップを埋める可能性のある新しいラベルを自動的に提案する。 0.80
Note that this differs from a zero-shot formulation of the XMC problem (Gupta et al , 2021) where, although no training instance is available for some labels, they are still present in the given vocabulary. これは XMC 問題 (Gupta et al , 2021) のゼロショットの定式化とは異なっているが、いくつかのラベルでトレーニングインスタンスは利用できないが、与えられた語彙にはまだ存在する。 0.79
To tackle the problem we propose GROOV, an autoregressive model that maps input sequences to a set of sequences. この問題を解決するために,入力シーケンスを一連のシーケンスにマッピングする自己回帰モデルGROOVを提案する。 0.76
Inputs are documents/text, and outputs are collections of textual labels from an open vocabulary. 入力は文書/テキストであり、出力はオープン語彙からのテキストラベルのコレクションである。 0.71
We investigate multiple sequenceto-set-of-se quences instantiations, in particular an off-the shelf approach based on a encoder-decoder language model (T5, Raffel et al (2019)) and a variant that uses a modified softmax function (i.e., multi-softmax) that does not penalize the model for assigning high probability to any gold label. 特にエンコーダ・デコーダ言語モデル(T5, Raffel et al (2019))に基づくオフ・ザ・シェルフアプローチと, 金のラベルに高い確率を割り当てるモデルをペナルティしない修正ソフトマックス関数(multi-softmax)を用いた変種について検討する。 0.74
This latter version inherently treats the target as a set of sequences (instead of a flat sequence) and outperforms the off-the shelf approach. この後者のバージョンは本質的にターゲットを(平らなシーケンスではなく)一連の配列として扱い、オフザシェルフアプローチよりも優れている。 0.71
To evaluate the out-of-vocabulary behaviour, we use popular XMC datasets for which a portion of the test labels do not appear in the train set. 語彙外動作を評価するために、テストラベルの一部が列車のセットに現れない、人気のあるXMCデータセットを使用します。 0.69
Differently from previous works, we assume models are unaware of such labels (i.e., they don’t appear in the given label vocabulary) and need to find them with open-ended text generation. 以前の作品とは違って、モデルがそのようなラベル(つまり、与えられたラベルの語彙に現れない)に気付かず、オープンなテキスト生成でそれらを見つける必要があると仮定する。 0.67
We show that GROOV can indeed generate some of these labels while being competitive with state-of-the-art results on in-vocabulary metrics. GROOVは、語彙内メトリクスの最先端結果と競合しながら、これらのラベルを実際に生成できることを示す。 0.58
In summary, the key contributions of this work まとめると、この作品の主な貢献は、 0.64
are as follows: • introduce the open vocabulary XMC task, where models are requested to classify content with meaningful labels that might not be 以下の通りです • Open vocabulary XMC タスクを導入する。ここでは、モデルは、意味のあるラベルでコンテンツを分類するよう要求される。
訳抜け防止モード: 以下の通りです • Open vocabulary XMC タスクを導入。 モデルは、重要でない可能性のあるラベルでコンテンツを分類するよう要求される
0.73
英語(論文から抽出)日本語訳スコア
present in the given vocabulary; 与えられた語彙に存在すること 0.62
• propose GROOV, •groov の提案。 0.61
sequence-to-set-ofse quences model that can tag textual content with a set of labels from an open vocabulary; オープンな語彙からラベルのセットでテキストコンテンツにタグ付けできるシーケンス・ツー・セット・オブ・シーケンスモデル 0.65
a • present extensive analysis on the out-ofvocabulary behaviour of GROOV, including a human review of the generated labels. あ • 生成したラベルの人間レビューを含むGROOVの語彙外行動に関する広範な分析を行った。 0.62
2 Related Work Traditionally Extreme Multi-Label Classification is done by the one-vs-all method. 2 関連作業 伝統的に、Extreme Multi-Label 分類は 1-vs-all 法によって行われる。 0.64
One-vs-all methods such as DiSMEC (Babbar and Sch¨olkopf, 2017), ProXML (Babbar and Sch¨olkopf, 2019), PDSparse (Yen et al , 2016), and PPDSparse (Yen et al , 2017), which treat each label as a binary classification problem, can achieve acceptable performance. DiSMEC (Babbar and Sch solkopf, 2017), ProXML (Babbar and Sch solkopf, 2019), PDSparse (Yen et al , 2016), PPDSparse (Yen et al , 2017) など,各ラベルをバイナリ分類問題として扱い,許容可能なパフォーマンスを実現している。 0.73
One-vs-all methods suffer from computationally expensive complexity and large model size. one-vs-allメソッドは計算コストのかかる複雑さと大きなモデルサイズに苦しむ。 0.61
Also, the classification tasks are independent of each other, and label dependency is not directly modeled. また、分類タスクは互いに独立しており、ラベル依存は直接モデル化されない。 0.73
The high computational complexity in one-vs-all methods can be further improved by incorporating different partitioning techniques on the label spaces. 1-vs-all法の計算複雑性はラベル空間に異なるパーティショニング技術を組み込むことでさらに向上することができる。 0.65
For instance, Parabel (Prabhu et al , 2018) partitions the labels through a balanced 2-means label tree using label features constructed from the instances. 例えば、parabel (prabhu et al , 2018)は、インスタンスから構築されたラベル機能を使用して、バランスのとれた2平均のラベルツリーを介してラベルを分割する。 0.62
Recently, several approaches have been proposed to improve Parabel. 最近、Parabelを改善するためのいくつかのアプローチが提案されている。 0.54
Bonsai (Khandagale et al , 2019) relaxes two main constraints in Parabel; allowing multi-way instead of binary partitionings of the label set at each intermediate node and also removing strict balancing constraints on the partitions. Bonsai (Khandagale et al , 2019)は、Parabelの2つの主要な制約を緩和し、各中間ノードに設定されたラベルのバイナリパーティショニングの代わりにマルチウェイを可能にするとともに、パーティショニングの厳格なバランス制約を取り除く。 0.61
SLICE (Jain et al , 2019) considers building an approximate nearest neighbor (ANN) graph as an indexing structure over the labels. SLICE (Jain et al , 2019) は、近い近傍グラフ (ANN) をラベル上のインデックス構造として構築することを考えている。 0.79
For a given instance, the relevant labels can be found quickly from the nearest neighbors of the instance via the ANN graph. あるインスタンスに対して、関連するラベルは、ANNグラフを介して、インスタンスの最も近い隣人から素早く見つけることができる。 0.65
These models rely on sparse features engineered from the text, which is cumbersome and, most importantly, doesn’t benefit from the knowledge of pre-trained LMs. これらのモデルは、テキストから作ったスパースな機能に依存しており、面倒で、そして最も重要なことは、事前訓練されたLMの知識の恩恵を受けないことだ。
訳抜け防止モード: これらのモデルはテキストから作られたスパース機能に依存している。 そして最も重要なことは 事前訓練されたLMの知識の恩恵を受けない。
0.61
Moreover, the partitioning of the label space is done independently from the classifier’s training. さらに、ラベル空間の分割は分類器のトレーニングとは独立して行われる。 0.70
In this paper, we leverage pre-trained language models and show that generative models efficiently partition the label space, token by token, and there is no need for crafting a tree of labels separate from the classifier. 本稿では,事前学習した言語モデルを活用して,生成モデルがラベル空間,トークン,トークンを効率的に分割することを示す。
訳抜け防止モード: 本稿では,事前学習型言語モデルを活用する。 生成モデルは トークン単位のラベル空間を 効率的に分割します 分類器とは別個のラベルのツリーを作る必要はありません。
0.77
Deep learning models have improved extreme multi-label classification by learning better text rep- 深層学習モデルによるテキストレポジトリの学習による極端マルチラベル分類の改善 0.77
resentation from raw text. But the main challenge to these methods is how to couple with millions of labels. 原文からの恨み。 しかし、これらの方法の最大の課題は、何百万ものラベルをどう組み合わせるかだ。 0.44
AttentionXML (You et al , 2019) shows success in extreme multi-label classification, overpassed all traditional machine learning methods, and proved the superiority of the raw text compared to sparse features. AttentionXML (You et al , 2019)は、極端なマルチラベル分類の成功を示し、従来の機械学習メソッドをすべて超越し、スパース機能に比べて生テキストの優位性を証明した。 0.72
AttentionXML uses a label tree, and a new classification model is trained for each layer of this tree that makes inference slow in predicting. AttentionXMLはラベルツリーを使用し、このツリーの各レイヤに対して新しい分類モデルがトレーニングされ、推論が遅くなる。 0.73
X-Transformer (Chang et al , 2020) only uses pre-trained LMs to match the label clusters for a given raw text and then ranks these labels by linear classifications with the sparse features. x-transformer (chang et al , 2020)は、トレーニング済みのlmsのみを使用して、与えられた生テキストのラベルクラスタをマッチングし、これらのラベルを線形分類してスパース特徴を分類する。 0.68
XTransformer is the first method of using pre-trained LMs in extreme multi-label classification. XTransformerは、訓練済みのLMを極端に多ラベルの分類に使用する最初の方法である。 0.59
Due to the high computational complexity of transformer models, it only fine-tunes transformer models as the label clusters matcher, which can not fully exploit the power of transformer models. トランスフォーマーモデルの計算複雑性が高いため、トランスフォーマーモデルのパワーを十分に活用できないラベルクラスタマッチングとして、トランスフォーマーモデルを微調整するだけである。 0.74
Recently, GENRE (Cao et al , 2021) showed that seq2seq auto-recursive models using pre-trained models could effectively partition and traverse a set of large labels by generating tokens incrementally. 最近、GENRE (Cao et al , 2021) は、事前訓練されたモデルを用いたSeq2seq自動再帰モデルは、トークンを漸進的に生成することで、大きなラベルの集合を効果的に分割し、トラバースすることができることを示した。 0.49
In extreme multi-label classification, the output is a set of labels. 極端なマルチラベル分類では、出力はラベルの集合である。 0.80
Turning the set to a sequence of labels requires an ordering among labels, which might not be straightforward in many applications. セットをラベルのシーケンスに変換するには、ラベル間の順序付けが必要となるが、多くのアプリケーションでは簡単ではないかもしれない。
訳抜け防止モード: セットを一連のラベルに変換する 多くのアプリケーションでは簡単にはいきませんが、ラベル間の順序付けが必要です。
0.65
(Vinyals et al , 2016) shows that this ordering can significantly impact the performance. (Vinyals et al , 2016) は、この順序がパフォーマンスに大きな影響を与えることを示した。 0.72
Authors in (Yang et al , 2018) propose an RL-based approach to relax the need for a fixed ordering among labels. 著者 (Yang et al , 2018) は、ラベル間の固定順序付けの必要性を緩和する RL ベースのアプローチを提案する。 0.71
We propose using a multi-softmax to relax the need for a fixed ordering which is much easier to train and implement than RL algorithms. 我々は、RLアルゴリズムよりも訓練や実装が容易な固定順序付けの必要性を緩和するために、マルチソフトマックスを使うことを提案する。
訳抜け防止モード: マルチソフトマックスの利用を提案する。 RLアルゴリズムよりもトレーニングや実装が容易な固定順序付けの必要性を緩和する。
0.77
Another advantage of our work to other set-output methods is that we model the multi-label classification as a set of sequences of tokens instead of a set of label identifiers. 他のセットアウトプット手法への取り組みのもう1つの利点は、ラベル識別子のセットではなくトークンのシーケンスの集合としてマルチラベル分類をモデル化することである。 0.70
Therefore, we leverage more effectively the LM’s knowledge in understanding each label. したがって、各ラベルの理解にlmの知識をより効果的に活用する。 0.74
(Gupta et al , 2021) tackles the problem of zeroshot learning in extreme multi-label classification in which it tags each input with a set of labels consisting of both seen and unseen labels during the training. (Gupta et al ,2021)は、極度多ラベル分類におけるゼロショット学習の課題に対処し、トレーニング中に見知らぬラベルと見えないラベルのセットで各入力をタグ付けする。 0.79
Not only do we build an effective and efficient zero to few-shot learning, but we also want to go beyond that and tackle the problem of open vocabulary classification in which the taxonomy is not known to us entirely. 私たちは、効果的で効率的なゼロから数ショットの学習を構築するだけでなく、それを超えて、分類が完全には分かっていないオープンな語彙分類の問題にも取り組みたいと思っています。 0.75
Related to the open vocabulary extreme classification is the Open Set Recognition(Geng et al , 2021) in the computer vision community. オープン語彙の極端な分類は、コンピュータビジョンコミュニティにおけるオープンセット認識(Geng et al , 2021)である。 0.82
Models モデル 0.77
英語(論文から抽出)日本語訳スコア
proposed to solve the open set recognition have a different signature from our work. オープンセットの認識を 解決する提案は 我々の仕事とは 異なる署名を持ってる 0.75
They define novel classes only in terms of sets of data points and do not generate names for classes that could then be compared against the true labels in a test set. 彼らはデータポイントの集合の観点でのみ新しいクラスを定義し、テストセットの真のラベルと比較できるクラスの名前を生成しない。 0.73
Also, they operate only on images, and the methods’ generalization to other modalities is not examined. また,画像のみで動作するため,他のモダリティへの一般化は検討されていない。 0.72
Similar in spirit, (Wang et al , 2019) generates hashtags for microblogs and measures the ability of their model in generating new hashtags. Wang et al , 2019 と同様、マイクロブログのハッシュタグを生成し、新しいハッシュタグを生成する際のモデルの能力を測定する。 0.62
The authors use a GRU-based dual encoder to generate hashtags. 著者らはGRUベースのデュアルエンコーダを用いてハッシュタグを生成する。 0.59
While there are similarities, our work is first in studying large generative pretrained LM for open vocabulary extreme tagging by jointly modeling all golden labels using a novel loss (multi-softmax). 類似点はあるが,本研究はまず,新しい損失(multi-softmax)を用いて,すべてのゴールデンラベルを共同でモデル化することにより,オープン語彙の極端タグ付けのための大規模生成事前学習手法の研究である。 0.58
3 Open-Vocabulary Tagging Consider N training data points {(Xi, Yi)}i=1.. 3 Open-Vocabulary Tagging N training data points {(Xi, Yi)}i=1。 0.46
N where Xi is the text corresponding to the i-th instance and Yi ⊆ Y ∗ is the set of tags Xi was annotated with. Xi が i 番目のインスタンスに対応するテキストであり、Yi は Xi がアノテートされたタグの集合である。 0.68
Importantly, we consider the set of all possible tags Y ∗ to be unknown both at training and inference time. 重要なことに、可能なすべてのタグ Y ∗ の集合は、トレーニングと推論の時間の両方で未知であると考える。 0.62
We do assume, however, that each tag lk ∈ Y ∗ can be described by natural language, that is by a sequence of tokens, N(cid:83) tok(lk) = {tk,j}j=1.. しかし、各タグ lk ∈ Y ∗ は、N(cid:83) tok(lk) = {tk,j}j=1 というトークンの列によって、自然言語で記述できると仮定する。 0.78
len(lk). Lastly let Yseen = Yi denote the set of labels encountered at traini=1 ing time. レン(lk)。 最後に、Yseen = Yi は Traini=1 ing で遭遇したラベルの集合を表す。 0.63
Throughout this work we will pay special attention to labels outside of this set, which we refer to as unseen labels. この作業を通じて、私たちはこのセット以外のラベルに特別な注意を払っています。 0.66
The above presented formulation of the topic tagging task is incompatible with currently prevalent XMC paradigms in several ways: First, most traditional classifiers require not only Y ∗ to be known in advance, but assume that for each label lk there are some examples tagged with lk so that a classifier can be learned for that particular label. 第一に、ほとんどの伝統的な分類器は前もって y ∗ を必要とするだけでなく、各ラベル lk に対して lk でタグ付けされたいくつかの例があり、そのラベルに対して分類器が学習可能であると仮定する。
訳抜け防止モード: 上記のトピックタギングタスクの定式化は、現在普及しているXMCパラダイムといくつかの点で相容れない。 第一に、ほとんどの伝統的な分類器は単に必要なだけでなく Y ∗ は事前に知られている。 しかし各ラベルlkには lkでタグ付けされた例がいくつかあります 分類器は特定のラベルで学べます
0.67
These methods often don’t rely on the label representation tok(lk) itself. これらのメソッドはラベル表現 tok(lk) 自体に依存しないことが多い。 0.80
Second, more recent zero-shot work (Gupta et al , 2021) makes tagging possible even for previously unencountered labels yk (cid:54)∈ Yseen. 第二に、より最近のゼロショット作品(Gupta et al , 2021)は、未発表のレーベルyk (cid:54)のYseenでもタグ付けが可能である。
訳抜け防止モード: 第2に、より最近のゼロショットワーク(Gupta et al, 2021 ) 未記載ラベル yk ( cid:54)のYseen もタグ付け可能。
0.75
To our best knowledge, all of these methods rely on access to Y ∗ in order to build some kind of index using label features. 我々の知る限り、これらの手法はすべてラベル機能を使ってある種のインデックスを構築するために Y ∗ へのアクセスに依存しています。 0.69
Finally, current datasets have their limitations too: (Jain et al ) and (Schultheis et al ) highlight that as the set of possible label grows it is unrealistic to expect that human annotators consider every single possible label in Y ∗ when annotating a document, thus we can expect 最後に、現在のデータセットにも制限がある: (Jain et al ) と (Schultheis et al ) は、可能なラベルの集合が成長するにつれて、人間のアノテータが文書のアノテート時に Y ∗ 内の全ての可能なラベルを考えることは非現実的であることを強調している。 0.66
all extreme classification datasets to be generally under-annotated. すべての極端な分類データセットは、一般的にアンダーアノテートされる。 0.49
As we will see in Section 7 this hinders our ability to measure the precision of any open vocabulary tagging system. 第7節で見られるように、これはオープンな語彙タグ付けシステムの精度を測定する能力を妨げます。 0.77
In the following section we introduce a novel class of models that is particularly well-suited for exploring the whole label space Y ∗ while maintaining good performance on the set of known labels Yseen. 下記の節では、特にラベル空間 Y ∗ 全体を探索し、既知のラベルの集合 Yseen 上で良い性能を維持しながら好適な新しいモデルのクラスを紹介します。 0.76
4 Model Below we illustrate how to frame OXMC as seq2seq problem, propose a loss captures the setnature of label sets more directly and then show how individual labels in the sets can be scored. 4モデル 下記では、OXMCをSeq2seq問題としてフレーム化する方法を説明し、損失がラベルセットのセニュチュアをより直接的にキャプチャし、セット内の個々のラベルをスコアリングする方法を示す。 0.72
4.1 Seq2Seq for Sets of Sequences Given input text X, and some already produced output tokens y1, . 4.1 seq2seq 入力テキスト x と既に生成済みの出力トークン y1, ...。 0.75
., yi−1, seq2seq models predict the probability of the next token in the output: p(yi|X, y1, .., yi−1). ., yi−1, seq2seqモデルは出力における次のトークンの確率を予測する: p(yi|x, y1, .., yi−1)。 0.81
Open-vocabulary topic tagging can also be formulated as such sequence-tosequence problem: Given text Xi, a set of tags Yi and a permutation π that returns an ordered list of the elements of Yi, we ask the model to predict the concatenation of the appropriate tags1 in the order defined by π. 与えられたテキストxi、タグyiのセット、およびyiの要素の順序リストを返す置換πにより、我々はモデルに、πによって定義された順序における適切なタグ1の結合を予測するように要求する。
訳抜け防止モード: Open - vocabulary topic tagging は、そのようなシーケンス-tosequence problem : given text Xi, タグ Yi と置換 π の集合 Yi の要素の順序付きリストを返します。 モデルに尋ねます πで定義される順序で適切なタグ1の連結を予測する。
0.77
Formally, the target output can be defined as 正式には、目標出力を定義できる。 0.70
(cid:16)(cid:104) (cid:16)(cid:104) 0.37
(cid:105)|Yi| (cid:105)|yi| 0.31
(cid:17) k=1 (cid:17) k=1 である。 0.35
T (Yi, π) = Concat T(Yi, π) = Concat 0.42
tok(π(Yi)[k]) tok(π(Yi)[k]) 0.35
. The need for the extra permutation input π in T reflects the fact that we are attempting to use a sequential model that produces ordered list of tokens to predict an unordered set of labels. . T の余剰置換入力 π の必要性は、順序付けされていないラベルの集合を予測するために順序付けされたトークンのリストを生成するシーケンシャルモデルを使うことを反映している。 0.59
This has a number of practical implications that we need to address. これには、私たちが対処する必要がある多くの実践的な意味があります。 0.50
At training time one needs to decide which ordering of the labels to feed to the model as target. トレーニング時には、ターゲットとしてモデルに供給するラベルの順序を決定する必要があります。 0.78
At inference time, the model might assign different probabilities to different orderings of the very same set of labels (as opposed to traditional classifiers that would assign a well defined probability to a particular set of labels) 推論時に、モデルは、全く同じラベルのセットの異なる順序に対して異なる確率を割り当てる(特定のラベルのセットによく定義された確率を割り当てる従来の分類器とは対照的に)。 0.83
Training During finetuning, for each training example, we uniformly sample a random permutation π of the gold labels. トレーニングでは、各トレーニング例に対して、金ラベルのランダムな置換πを均一にサンプリングする。 0.70
Formally, this method corresponds to a loss function described in Equation 1 正式には、この方法は式1に記載された損失関数に対応する。 0.64
1In practice, we insert a special [SEP] token between each tag, making this mapping bijective which is required for decoding 1 実際には、各タグの間に特別な[SEP]トークンを挿入し、デコードに必要なこのマッピングビジェクティブを作成する。 0.73
英語(論文から抽出)日本語訳スコア
(cid:34) (cid:32) (cid:34) (cid:32) 0.39
Pπ(Yi|Xi, θ) Pπ(Yi|Xi,θ) 0.41
(cid:33)(cid:35) (cid:12)(cid:12)(cid :12)(cid:12)T [1 : k − 1], X, θ (cid:33)(cid:35) (cid:12)(cid:12)(cid :12)(cid:12)T [1 : k − 1], X, θ 0.43
(cid:17) L(θ) = − E (cid:17) L(θ) = − E 0.41
π |Yi|(cid:89) π |Yi|(cid:89) 0.38
log (cid:16) ログ (出典:16) 0.69
P T [k] Pπ(Yi|Xi, θ) = P T[k] Pπ(Yi|Xi, θ) = 0.42
k=1 T = T (Yi, π) k=1 である。 T = T (Yi, π) 0.37
(1) Inference At inference time we decode the model naively choosing the most likely next token at each decoding step. (1) 推論 推論時にモデルをデコードし、各デコードステップで最も可能性の高い次のトークンを選択します。 0.51
We then split the produced output text by the separator token, resulting in a set of strings - these will be our predicted tags. 次に、生成された出力テキストをセパレータトークンで分割し、結果として文字列のセットを生成します。 0.62
Note that there’s no guarantee that the tags generated this way will be part of the labels used in the dataset, but our hope is that the model will learn what constitutes a good tag. この方法で生成されたタグがデータセットで使用されるラベルの一部であるという保証はありませんが、モデルが良いタグを構成するものを学ぶことを期待しています。 0.79
For the purpose of computing position-based metrics such as Precision@K, PSP@K, NLSR@K we use the order in which the model produced the labels. precision@k, psp@k, nlsr@kのような位置ベースのメトリクスを計算するために、我々はモデルがラベルを生成する順番を使用します。 0.72
We refer to our training and inference approach as GROOV (GeneRative Out-Of-Vocabulary) tagging. トレーニングと推論のアプローチをGROOV(GeneRative Out-Of-Vocabulary)タグと呼ぶ。 0.63
4.2 Multi-Softmax Loss Assume a training example has gold labels A, B, and C and that in a particular training step we feed the permutation B, A, C to the model as the target. 4.2 Multi-Softmax Loss トレーニング例は、金ラベルA、B、Cを持ち、特定のトレーニングステップにおいて、ターゲットとしてモデルに置換B、A、Cを供給すると仮定する。 0.75
Let the logit corresponding to the first tokens of labels A, B, C be zA, zB, zC. ラベルA,B,Cの最初のトークンに対応するロジットをzA,zB,zCとする。 0.70
The softmax function inside the Cross-Entropy loss will be as follows: クロスエントロピー損失内のソフトマックス関数は以下のとおりである。 0.77
σB(z) = (2) σB(z) = (2) 0.46
ezB(cid:80)N ezB(cid:80)N 0.44
i=1 ezi The sum in the denominator also includes terms for the logits zA, zC and thus the loss will eventually increase if the model assigns higher probabilities to tokens corresponding to labels A and C - even though those predictions would be completely reasonable. i=1エジ 分母の和は、対数 zA, zC の項も含むので、モデルがラベル A と C に対応するトークンに高い確率を割り当てれば、損失は最終的に増加する。
訳抜け防止モード: i=1エジ 分母の和もlogits zaの項を含む。 zc、つまり損失は、最終的に増加する。 モデルは、ラベルaとcに対応するトークンにより高い確率を割り当てる -その予測が完全に合理的であっても。
0.64
Unfortunately, the more labels an example has on average, the more prevalent this problem will become. 残念ながら、例が平均するラベルが多ければ多いほど、この問題が広まるでしょう。 0.63
In order to overcome this issue, we propose a modified softmax function dubbed MultiSoftmax (MSM) that does not penalize the model for assigning a high probability to any token that could lead to decoding a gold label that has been not produced yet. この問題を解決するために,MultiSoftmax (MSM) と呼ばれる改良されたソフトマックス関数を提案する。
訳抜け防止モード: この問題を解決するために,MultiSoftmax(MSM)と呼ばれる修正ソフトマックス関数を提案する。 まだ生産されていない金のラベルを 解読できるかもしれない
0.50
At a given decoding step let G be the set of token indices that could lead to producing 与えられた復号ステップにおいて、g を生成に繋がるトークンインデックスの集合とする。 0.62
a gold label (in our example A, B or C). 金のラベル(A、B、またはCの例)。 0.69
Then the multi-softmax function is defined as: 次に、マルチソフトマックス関数を次のように定義する。 0.52
σG(z) = (3) σG(z) = (3) 0.46
(cid:80) (cid:80)N (cid:80) (cid:80)N 0.39
i∈G ezi i=1 ezi i-G ezi i=1 ezi 0.28
We experiment with replacing the softmax term in the Cross-Entropy loss of T5 to this newly proposed version in the hope that it will learn more efficiently. 我々は,T5のクロスエントロピー損失におけるソフトマックス項を,より効率的に学習できるように,新たに提案したバージョンに置き換える実験を行った。 0.72
4.3 Scoring Labels With the proposed sequential approach there is no simple way to compute a score for an individual label: at decoding time we can only access the probability of the next label given the previously decoded labels. 4.3 Scoring Labels 提案されたシーケンシャルアプローチでは、個々のラベルのスコアを計算する簡単な方法は存在しない。
訳抜け防止モード: 4.3 Scoring Labels 提案されたシーケンシャルアプローチでは、個々のラベルのスコアを計算する簡単な方法がない。 復号時には 前の復号ラベルから 次のラベルの確率にしかアクセスできない
0.81
Instead, all we have is a binary decision whether the label appeared in the model output or not. そのかわりに、ラベルがモデル出力に現れるかどうかという二項決定しかありません。 0.72
In real life applications this can be problematic as one can not control the sensitivity of the model by thresholding the scores. 現実のアプリケーションでは、スコアを閾値付けすることでモデルの感度を制御できないため、これは問題となる。 0.68
It also makes the model perform suboptimally on metrics (e g P@K) where the ordering of labels w.r.t their probability is crucial. また、ラベルの順序付けが重要となるメトリクス(例えばP@K)に対して、モデルが亜最適に実行するようにする。 0.67
In order to compute a robust score for a given label, one might compute its marginal probability over all possible output sequences. 与えられたラベルに対するロバストスコアを計算するために、全ての可能な出力シーケンスに対してその限界確率を計算することができる。 0.68
Of course this is computationally intractable, so instead in practice we can run a beam search of beam size B and sum up the probabilities of the beams that contain a particular label in order to approximate its marginal probability. もちろんこれは計算が難しいので、実際にはビームサイズbのビームサーチを実行し、その限界確率を近似するために特定のラベルを含むビームの確率を合計することができる。 0.75
Let b1, . ., bB be the label sequences resulting from such a beam search. b1にしよう。 bb はそのようなビーム探索の結果生じるラベルシーケンスである。 0.67
Our approximation to the marginal probability of label li can be written as: ラベルliの限界確率に対する我々の近似は、次のように書ける。 0.62
P (li) = 1(li ∈ bk)P (bk) P(li) = 1(li ∈ bk)P(bk) 0.42
(4) k=1 (4) k=1 である。 0.37
5 Experimental Setting 5.1 Datasets In order to focus on the ability of models to tag text with previously unseen labels, one might consider using the same datasets that are used to benchmark traditional zero-shot XMC. 5 実験的な設定 5.1 データセット 以前は目に見えないラベルでテキストをタグ付けするモデルの能力に焦点を当てるために、従来のゼロショットXMCをベンチマークするために使用されるのと同じデータセットを使用することを検討するかもしれません。 0.59
We evaluate our models on the two topic tagging datasets2 (Gupta et al , 2021) report results on. 2つのトピックタギングデータセット (Gupta et al , 2021) を用いて, モデルの評価を行った。 0.64
EURLex-4.3K (Chalkidis et al , 2019) is a collection of roughly 50K EU Legal documents annotated EURLex-4.3K (Chalkidis et al , 2019) は、約50KのEU法文書を注釈付きでまとめたものである。 0.58
2Other datasets in that work are focused on item similarity- 2 作業中の他のデータセットはアイテムの類似性に重点を置いている。 0.50
based recommendation rather than real tagging. タグ付けではなく 推奨に基づいています 0.48
B(cid:88) B(第88回) 0.62
英語(論文から抽出)日本語訳スコア
To that end, we evaluate our models using the そのために、私たちはモデルを評価します。 0.66
following metrics: Propensity-Scored Precision @ K (PSP@K) is a variant of the commonly used Precision@K metric introduced by Jain et al that assigns higher rewards for getting infrequent labels right (and by extrapolation, even higher reward for previously unseen labels). 以下の指標です propensity-scored precision @k (psp@k) は、jainらが導入したprecision@kメトリックの変種で、不適切なラベルを正しく取得する(そして外挿によって、以前目にしたラベルに対してさらに高い報酬を与える)。 0.63
The scoring function is motivated by the observation that less frequent tags are more likely to be under-labeled as well as by the intuition that tagging with more granular, less frequent tags is likely of more value. スコアリング関数は、頻度の低いタグがラベルの低いものになりやすいという観察と、より粒度が高く、頻度の低いタグがより価値が高いという直感によって動機づけられる。 0.70
We refer to the original paper for the implementation details of this metric. 本尺度の実装の詳細については,本論文を参照。 0.64
Code for computing this metric is provided by the Extreme Classification Repository (Bhatia et al , 2016) このメトリクスを計算するコードは、extreme classification repository (bhatia et al , 2016)によって提供されている。 0.66
Metrics on unseen labels. unseenラベルのメトリクス。 0.53
For a data point データポイントのために 0.87
with model predictions (cid:101)Yi and gold labels Yi, let Yunseen,i = Yi \ Yseen and (cid:101)Yunseen,i = (cid:101)Yi \ Yseen. モデル予測 (cid:101) とゴールドラベル Yi, let Yunseen,i = Yi \ Yseen and (cid:101)Yunseen,i = (cid:101)Yi \ Yseen。 0.86
(cid:101)Yunseen,k and Yunseen,k. (→101)ユンシーク、ユンシーク、そしてユンシーク。 0.53
On top of these instance- これらのインスタンスの上に 0.62
We calculate the standard Precision@K and Recall@K metrics considering these two sets, これら2つの集合から標準精度@kとrecall@kを算出した。 0.69
wise metrics we also define a metric on the entire test set that measures how many of the unseen labels in the test set has the model produced at least once. 賢明なメトリクス テストセット全体のメトリクスも定義します。テストセット内の見えないラベルのうち、少なくとも1回はモデルが生成されている数を計測します。 0.65
We call this the Novel Label Set Recall and define it as これを新しいラベルセットリコールと呼び、それを定義します 0.72
(cid:12)(cid:12)(cid :12)Ntest(cid:83) (cid:12)(cid:12)(cid :12)Ntest(cid:83) 0.37
i=1 (cid:12)(cid:12)(cid :12) sorted((cid:101)Yuns een,i)[: K] (cid:12)(cid:12)(cid :12) (cid:12)(cid:12)(cid :12)Ntest(cid:83) i=1 である。 (cid:12)(cid:12)(cid :12) sorted((cid:101)Yuns een,i)[:K] (cid:12)(cid:12)(cid :12)(cid:12)Ntest(ci d:83) 0.39
Yunseen,i Yunseen (複数形 Yunseens) 0.24
i=1 with 4.3K tags. i=1 である。 4.3Kタグ付き。 0.47
Wikipedia-1M (Gupta et al , 2021) is a large collection of Wikipedia articles associated with 1M+ Wiki categories. Wikipedia-1M (Gupta et al , 2021) はウィキペディアの1M以上のカテゴリに関連付けられた膨大なコレクションである。 0.75
The above two datasets all contain some amount of unseen labels (see Table 1) but are on the two extreme sides of the spectrum: EURLex-4.3K only contains 163 unseen labels, whereas most of the labels in the test set of Wikipedia-1M are in fact not present in the training set. 上記の2つのデータセットは、全て何らかの未発見のラベルを含んでいるが(表1参照)、スペクトルの両極端にある: eurlex-4.3kは163個の未発見のラベルしか含んでいないが、wikipedia-1mのテストセットのラベルのほとんどは、実際にはトレーニングセットには存在していない。
訳抜け防止モード: 上の2つのデータセットは、すべていくつかの目に見えないラベルを含んでいる (表1参照) EURLex-4.3 Kは163個の未知のラベルしか持たない。 一方、Wikipedia-1Mのテストセットのラベルのほとんどは、実際にはトレーニングセットには存在しない。
0.66
In order to effectively study the open-vocabulary tagging properties of this new class of models, we construct a third dataset motivated by a real world scenario that aims to be in the middle of this spectrum. この新しいモデルの開語彙タギング特性を効果的に研究するために,このスペクトルの中間に位置することを目的とした実世界のシナリオを動機とした第3のデータセットを構築した。 0.76
The AmazonCat13K dataset AmazonCat13Kデータセット 0.68
introduced by Mcauley and Leskovec contains descriptions of products on Amazon and categories in the product taxonomy associated with them. mcauley と leskovec によって紹介され、amazon の製品とそれらに関連する製品分類のカテゴリについて記述されている。
訳抜け防止モード: Mcauley と Leskovec が紹介した Amazon の製品説明 製品分類のカテゴリーに関連付けられています
0.70
This dataset does not contain unseen labels in its test set, so we create a new dataset by このデータセットはテストセットに見えないラベルを含まないので、新しいデータセットを作成します。 0.74
1) randomly choosing 1000 labels from the set of labels that appear in the training split and 1)トレーニング分割に現れるラベルの集合から1000のラベルをランダムに選択し、 0.75
2) moving all examples in the training set that contain any of these 1000 labels to the test set.3 2)これらの1000のラベルを含むトレーニングセットのすべての例をテストセットに移動させる。 0.84
We refer to this newly introduced version of the AmazonCat13K dataset as AmazonCat-OV, as it enables measuring the Open Vocabulary performance of models. この新しく導入されたAmazonCat13KデータセットをAmazonCat-OVと呼び、モデルのOpen Vocabularyのパフォーマンスを測定する。 0.76
Dataset name Ntrain データセット名 列車 0.60
Ntest EURLex-4.3K AmazonCat-OV Wikipedia-1M 試験 EURLex-4.3K AmazonCat-OV Wikipedia-1M 0.23
45K 1.1M 2.3M 45k 1.1m 2.3m 0.39
6K 0.4M 2.7M 6k 0.4m 2.7m 0.38
|Yseen| 4,108 11,460 495,107 |yseen|4,108,460495,107 0.23
|Yunseen| 163 1,870 776,612 |ユンシーヌ| 163 1,870 776,612 0.33
Table 1: Basic statistics of datasets used in this work 表1:この研究で使われるデータセットの基本統計 0.88
N LSR@K = 5.2 Evaluation Metrics We expect two basic properties from the proposed new class of models: N LSR@K = 5.2 評価指標 提案する新しいモデルから2つの基本的な特性を期待する。 0.60
• Irrespective of the new labels, these models need to perform just as well as other XMC models on the overall dataset (including more frequent tags too). • 新しいラベルを無視すると、これらのモデルはデータセット全体(より頻繁なタグも含む)の他のXMCモデルと同様に機能する必要がある。 0.85
• Additionally, we expect our proposed models to produce some of the labels that it has never seen and has no knowledge of - demonstrating some understanding of the structure of the label space and the ability to generalize beyond a predefined taxonomy. さらに、我々の提案したモデルは、ラベル空間の構造と、事前に定義された分類を超えて一般化する能力について、これまで見たことがなく、知識もないラベルを生成できることを期待しています。 0.61
3Due to strong correlations between labels, some labels outside of the original 1000 also disappear from the training set and becomes an unseen label 3 ラベル間の強い相関関係のため、オリジナル1000以外のラベルもトレーニングセットから姿を消し、目に見えないラベルとなる。 0.71
This formulation is motivated by potential future use cases of this novel family of models. この定式化は、この新しい種類のモデルの将来のユースケースに動機づけられている。 0.58
One might run model inference on a new batch of data and collects the top-K out-of-vocabulary labels produced by the model from each data point. 新しいデータバッチ上でモデル推論を実行し、各データポイントからモデルによって生成されたトップk外ラベルを収集する。 0.77
This set of novel tags could now be inspected manually and used to expand the taxonomy of labels if deemed appropriate. この一連の新しいタグは手作業で検査でき、適切と考えられるラベルの分類を拡張するのに使うことができる。 0.67
NLSR@K is an approximation for what percentage of the expansion of the label space could be captured by such a process. nlsr@k はラベル空間の拡張のどの割合がそのようなプロセスによってキャプチャできるかの近似である。 0.65
Soft-matching based metrics Since the model has no knowledge of what the gold labels might look like, it is possible that it would produce some labels that are semantically equivalent to a gold label but would have a slightly different surface form. ソフトマッチングベースのメトリクス モデルは金のラベルがどのようなものかを知ることがないので、金のラベルと意味的に等価であるがわずかに異なる表面形状を持ついくつかのラベルを生成する可能性がある。 0.75
We investigate this and propose new metrics to address this in Section 6.3 我々はこれを調査し、6.3節でこれに対応するための新しい指標を提案する。 0.50
英語(論文から抽出)日本語訳スコア
5.3 Training and Evaluation Setup Unless otherwise reported, we use the T5-base model obtained from Huggingface (Wolf et al , 2020). 5.3 研修と評価 その他の報告がなければ、Hugingface(Wolf et al , 2020)から得られたT5ベースモデルを使用します。 0.74
We finetune these models on 4 Nvidia V100 GPUs using batch size 32 and AdamW optimizer with LR=0.0001. これらのモデルを、バッチサイズ32とAdamWオプティマイザをLR=0.0001で4つのNvidia V100 GPU上で微調整する。 0.54
On datasets where validation set is not provided, we train for a fix number of Epochs (100 and 1 for EURLex and AmazonCat-OV respectively) and use beam size 15 for decoding. 検証セットが提供されていないデータセットでは、Epochの固定数(EURLexとAmazonCat-OVはそれぞれ100と1)をトレーニングし、デコードにはビームサイズ15を使用します。 0.74
For the experiments on Wikipedia dataset, we train T5base models for 3 epochs and T5-large model for 1 epoch, respectively. Wikipediaデータセットの実験では、3エポックのT5baseモデルと1エポックのT5-largeモデルをそれぞれトレーニングしています。 0.67
Beam size is set to 15 for decoding purpose. ビームサイズはデコード目的のために15に設定される。 0.76
6 Quantitative Results First, this section looks at our model’s overall performance on XMC, considering all the tags. 6 定量結果 まず、このセクションでは、すべてのタグを考慮して、XMCにおけるモデル全体のパフォーマンスについて調べます。 0.70
Then, we look at the out of vocabulary performance by relaxing the definition of label matching to account for semantically similar labels with different surface forms. 次に,表層形状の異なる意味的に類似したラベルを考慮に入れたラベルマッチングの定義を緩和することにより,語彙性能のアウトオブボキャブラリを考察する。 0.67
6.1 Overall Performance 6.1 全体的なパフォーマンス 0.55
Table 2 contains our results on entire label set, as measured by the PSP@K metric introduced above. 表2は、上述のPSP@Kメトリックによって測定された、ラベルセット全体の結果を含む。 0.77
Given the large number of XMC models available today, we only show the top-few best performing models from each family of models that we referenced in Section 2. 現在利用可能なXMCモデルの数を考えると、第2節で言及した各モデルの上位2つの最高のパフォーマンスモデルのみを示す。 0.79
Note that all models except for our proposed models have access to the overall set of labels at inference time. 提案するモデルを除くすべてのモデルが、推論時にラベル全体のセットにアクセスできることに注意してください。 0.71
Our simplest method that uses T5 as-is outperforms many of the XMC models developed in the past years. T5as-isを用いた最も単純な方法は、過去数年間に開発されたXMCモデルよりも優れている。 0.56
Using the methods described in Section 4 we established a system that performs on par with the best available model on EUR-Lex4.3K and is the second-best model on Wikipedia-1M, only 2% point below the designed explicitly for the zero-shot model. 第4節で記述された手法を用いて、EUR-Lex4.3Kの最良のモデルと同等に動作し、Wikipedia-1Mの2番目に良いモデルであるシステムを確立しました。 0.73
No model outperforms our models on both datasets. 両方のデータセットでモデルよりも優れたモデルはありません。 0.57
Our scoring by marginalization improves the performance in Wikipedia-1M dataset, especially at the top 3 and 5 tags, showing it effectively builds a calibrated score for labels. 辺縁化によるスコアはWikipedia-1Mデータセット、特にトップ3と5タグのパフォーマンスを改善し、ラベルの校正スコアを効果的に構築することを示す。 0.71
But, in EUR-Lex 4.3K, the default order of the labels in the vanilla T5 model scores as high as ranking by marginalization. しかし、EUR-Lex 4.3Kでは、バニラT5モデルのラベルのデフォルトの順は、マージン化によるランキングよりも高い。 0.62
We conjecture the generative model learns to output the more confident tags first and then moves to the less confident ones. 生成モデルは、まずより確実なタグを出力し、次に信頼性の低いタグに移動することを学習する。 0.53
Our MultiSoftmax loss consistency improves the performance in comparison to the base model. 我々のMultiSoftmax損失の整合性はベースモデルと比較して性能を向上する。 0.73
6.2 Out-Of-Vocabulary Performance What distinguishes our model from previous zeroshot approaches is that it is able to generate previously unseen labels without being told about their existence in advance. 6.2 Out-Of-Vocabulary Performance 我々のモデルと以前のゼロショットアプローチを区別するところは、事前にその存在を知らされることなく、これまで見られなかったラベルを生成することができることです。 0.60
Table 3 shows our measurements of recall and precision when only considering unseen labels. 表3は、未確認ラベルのみを考慮すると、リコールと精度の測定値を示す。 0.59
For this section, we use the two larger datasets with a reasonably large set of unseen labels. このセクションでは、かなり大きなラベルセットを持つ2つの大きなデータセットを使用します。 0.78
To our best knowledge no other XMC system can achieve a non-zero score in this setting. 我々の最善の知識では、この設定で他のxmcシステムはゼロではないスコアを達成できない。 0.59
Recall@K metrics on both of these datasets demonstrate that the model can generalize beyond the labels it has seen and produce correct, novel labels in some percentage of the cases - although there is room for significant improvements still. これらのデータセットのRecall@Kメトリクスは、モデルがこれまで見たラベルを超えて一般化し、正しい新しいラベルを一部のケースで生成できることを示しています。 0.58
A highlight is that on the AmazonCat-OV dataset, nearly one-quarter of the labels that we removed from the training set were generated as the top outof-vocabulary prediction at least once in the test set. 注目すべき点は、AmazonCat-OVデータセットでは、トレーニングセットから削除したラベルの4分の1近くが、少なくともテストセットで1回は、トップの語彙予測として生成されたことです。 0.59
Due to the ambiguous nature of evaluating open-vocabulary tags produced by generative models, recall and precision measurements based on exact label match are merely a lower bound on the practical performance of the model. 生成モデルが生成するオープン語彙タグを評価するという曖昧な性質のため、正確なラベルマッチングに基づくリコールと精度の測定は、モデルの実用性に基づいた下限に過ぎない。 0.76
We investigate this further in the following sections and find that these numbers are underestimating our model’s true ability to produce previously unseen but valid tags. 以下のセクションでさらにこれを調査し、これらの数値が、これまで見えなかったが有効なタグを生成する我々のモデルの真の能力を過小評価していることを確かめる。 0.59
6.3 Lexical/Semantic Similarity instead of 6.3 語彙・意味的類似性 0.58
Exact Matching Some of the reasonable labels produced by the model may not exactly match the labels from the golden label set. 厳密なマッチング モデルによって生成された妥当なラベルのいくつかは、ゴールデンラベルセットのラベルと正確に一致しないかもしれない。 0.64
This mismatch could be due to small lexical differences such as different spelling, hyphenation, pluralization, lexical form or capitalization. このミスマッチは、スペル、ハイフン化、多重化、語彙形式、大文字化など、小さな語彙の違いによる可能性がある。 0.55
Additionally, the mismatch can be due to related terms or synonyms being generated instead of the exact label (for example ”Kids’ books” instead of ”Childrens’ books”). さらに、このミスマッチは、正確なラベルの代わりに関連する用語や同義語が生成されることによる可能性がある(例えば、”kids’ books”ではなく“kids’ books”)。 0.75
Metrics like precision and recall would count all such generations as false positives, and this may not accurately describe the generative model’s performance. 精度やリコールのようなメトリクスは、すべての世代を偽陽性とみなし、生成モデルのパフォーマンスを正確に記述するものではないかもしれない。 0.71
To tackle this, we also measure soft precision and soft recall. これに対処するため、ソフト精度とソフトリコールも測定します。 0.56
We introduce Soft Lexical Recall/Precision, which addresses the lexical differences. 語彙差に対処するソフトレキシカルリコール/精度を導入する。 0.58
These metrics work exactly in the same way as normal precision and recall with the difference that any generated label ˆY is matched with a label from the golden set Y if their edit distance is smaller than | ˆY |/DF + 1, where DF is the division factor used to regulate これらのメトリクスは、通常の精度と全く同じ方法で動作し、生成したラベル sy がgolden set y のラベルと一致する場合、編集距離が | sy |/df + 1 よりも小さい場合、df が制御に使用される分割係数である場合の違いを思い出す。 0.75
英語(論文から抽出)日本語訳スコア
Algorithm EUR-Lex 4.3K アルゴリズム EUR-Lex 4.3K 0.47
Wikipedia-1M Wikipedia-1M 0.24
PSP@1 PSP@3 psp@1 PSP@3 0.63
PSP@5 PSP@1 psp@5 psp@1 0.83
PSP@3 PSP@5 PSP@3 psp@5 0.63
GROOV + sorted by marginal probabilities + MSM + T5-large ZestXML-tuned (Gupta et al , 2021) AttentionXML (You et al , 2019) XReg (Prabhu et al , 2020) Parabel (Prabhu et al , 2018) DiSMEC (Babbar and Sch¨olkopf, 2017) Bonsai (Khandagale et al , 2019) PfastreXML (Jain et al , 2016) FastText ANNS (Joulin et al , 2017) BERT ANNS (Reimers and Gurevych, 2019) GROOV + sorted by marginal probabilities + MSM + T5-large ZestXML-tuned (Gupta et al , 2021) AttentionXML (You et al , 2019) XReg (Prabhu et al , 2020) Parabel (Prabhu et al , 2018) DiSMEC (Babbar and Sch solkopf, 2017) Bonsai (Khandagale et al , 2019) PfastreXML (Jain et al , 2016) FastText ANNS (Joulin et al , 2017) BERT ANNS (Reimers and Gurevych, 2019) 0.45
50.2 50.2 52.6 52.6 48.01 53.92 58.06 46.82 47.26 46.41 55.30 17.10 4.64 50.2 50.2 52.6 52.6 48.01 53.92 58.06 46.82 47.26 46.41 55.30 17.10 4.64 0.21
62.4 62.4 63.6 63.6 60.29 63.59 62.99 58.8 59.82 58.83 58.00 15.74 3.66 62.4 62.4 63.6 63.6 60.29 63.59 62.99 58.8 59.82 58.83 58.00 15.74 3.66 0.21
67.3 67.3 67.2 67.7 66.15 67.85 65.97 64.29 65.55 64.44 59.91 16.13 3.57 67.3 67.3 67.2 67.7 66.15 67.85 65.97 64.29 65.55 64.44 59.91 16.13 3.57 0.21
9.5 9.6 9.8 10.1 14.43 3.82 3.48 2.99 2.35 3.19 2.97 7.16 10.34 9.5 9.6 9.8 10.1 14.43 3.82 3.48 2.99 2.35 3.19 2.97 7.16 10.34 0.21
9.7 13.2 13.4 13.1 15.80 4.54 3.51 3.32 2.99 3.61 2.90 6.01 8.17 9.7 13.2 13.4 13.1 15.80 4.54 3.51 3.32 2.99 3.61 2.90 6.01 8.17 0.21
9.1 15.6 15.8 15.2 17.31 5.20 3.83 3.65 3.48 4.05 3.10 6.19 8.20 9.1 15.6 15.8 15.2 17.31 5.20 3.83 3.65 3.48 4.05 3.10 6.19 8.20 0.21
Table 2: PSP@K metrics on the full set of labels 表 2: ラベルの完全なセット上のPSP@Kメトリクス 0.80
AmazonCat-OV @1 @3 @5 AmazonCat-OV @1 @3 @5 0.47
Recall Precision NLSR リコール精度NLSR 0.76
6.6 8.3 23.9 6.6 8.3 23.9 0.24
7.3 3.1 25.8 7.3 3.1 25.8 0.24
7.3 1.9 25.9 7.3 1.9 25.9 0.24
Wikipedia-1M Wikipedia-1M 0.24
@1 @3 @5 Recall Precision NLSR @1 @3 @5 リコール精度NLSR 0.59
3.2 5.4 3.6 3.2 5.4 3.6 0.24
9.4 5.4 11.0 9.4 5.4 11.0 0.24
13.3 4.7 16.0 13.3 4.7 16.0 0.24
Table 3: Performance of our best performing models on the set of unseen labels 表3: 目に見えないラベルのセットにおける最高のパフォーマンスモデルのパフォーマンス 0.78
the flexibility and accuracy of this matching. このマッチングの柔軟性と正確さです 0.81
In our measurements we set DF = 10. 我々の測定では df = 10 と設定した。 0.65
We also introduce Soft Semantic Recall/Precision to address the problem with slightly different formulations of the same label or synonym words in the labels. また,同じラベルや同義語をラベル内でわずかに異なる定式化することで問題に対処するために,ソフトセマンティクスのリコール/適応を導入する。
訳抜け防止モード: ソフトセマンティクスリコール/精度も導入します ラベル中の同じラベルまたは同義語をわずかに異なる定式化で問題に対処する。
0.73
Similar to the Soft Lexical metrics described above, we change the matching criteria between ˆY and Y from exact lexical match to a BertScore (Zhang et al , 2020) based metric. 上述のソフト・レキシカル・メトリックと同様に、正確なレキシカル・マッチからバーツコア(zhang et al, 2020)ベースのメトリックへ、yとyのマッチング基準を変更します。 0.55
We check the F1 score generated by BertScore and use a threshold of 0.94 我々はBertScoreが生成したF1スコアをチェックし、閾値0.94を使用する。 0.59
4. This threshold is selected to make sure soft semantic matches correlates highly with sensibility in our human evaluation. 4. この閾値が選択され、ソフトセマンティクスの一致が人間評価の感性と高い相関があることを確認します。
訳抜け防止モード: 4.このしきい値が選択される ソフト・セマンティック・マッチは 人間の評価の感度と 高い相関を保ちます
0.78
This is shown in Table これはテーブルに示されます 0.84
5. Table 4 shows the performance on the AmazonCat dataset using soft lexical and semantic matching alongside the exact precision and recall. 5. 表4は、正確な精度とリコールとともに、ソフトレキシカルとセマンティックマッチングを使用して、AmazonCatデータセットのパフォーマンスを示す。 0.68
The threshold in semantic and lexical matching is stringent; they highly correlate with sensibility in our human eval- 意味的および語彙的マッチングのしきい値は厳密であり、人間のevalの感度と高い相関性を持つ。 0.70
4BertScore 4BertScore 0.39
Hash: roberta-large L17 no- ハッシュ: roberta-large L17 no- 0.49
idf version=0.3.10(hug trans=4.12.3) fast-tokenizer idf version=0.3.10(hug trans=4.12.3) fast-tokenizer 0.21
uation (e g , 96% in table 5). uation (表 5 で 96%)。 0.54
Still, we observe significant improvement in our precision/recall compared to the exact match, confirming that the model generates some correct tags with slight surface differences. しかし, 正確な一致と比較した場合, 精度/リコールの大幅な改善を観察し, 表面差の少ない正確なタグを生成できることを確認した。 0.71
Method Recall Metrics @3 方法 メトリクス@3を思い出す 0.44
@1 Exact Lexical Semantic @1 正確な語彙意味論 0.51
Method 6.62 7.84 8.07 方法 6.62 7.84 8.07 0.31
7.31 9.76 9.04 Precision Metrics @3 7.31 9.76 9.04 精密測定値@3 0.54
@1 Exact Lexical Semantic @1 正確な語彙意味論 0.51
8.34 9.83 10.21 8.34 9.83 10.21 0.24
3.13 4.17 4.34 3.13 4.17 4.34 0.24
@5 7.34 10.58 9.07 @5 7.34 10.58 9.07 0.33
@5 1.89 2.71 2.65 @5 1.89 2.71 2.65 0.33
Table 4: Precision/Recall of the model with exact matching as well as lexical and semantic soft matching on AmazonCat dataset 表4:AmazonCatデータセットの正確なマッチングと語彙的および意味的ソフトマッチングによるモデルの精度/リコール 0.86
7 Human Review of Out of Vocabulary 第7回「語彙の欠如」の人間評価 0.59
Generations Interpreting Model Behavior モデル挙動を解釈する世代 0.74
7.1 In our experiment with the AmazonCat-OV dataset, our model correctly generated more than 400 different, novel categories that only appeared in the test set as ground truth labels. 7.1 AmazonCat-OVデータセットを用いて行った実験で、我々のモデルは400以上の異なる新しいカテゴリを正しく生成しました。 0.67
In order to qualitatively understand what type of model behavior led to producing these labels, we manually compared the input texts and the generated novel labels. これらのラベルを生成させたモデル行動の種類を質的に理解するために,入力テキストと生成された新規ラベルを手動で比較した。 0.72
英語(論文から抽出)日本語訳スコア
We found that in most cases (89%) the model effectively employs a very simple two-step strategy. ほとんどのケース(89%)では、モデルは極めて単純な2ステップ戦略を効果的に採用しています。 0.69
First it identifies an n-gram in the input text that could be a meaningful category. まず、意味のあるカテゴリである入力テキスト中のn-gramを識別する。 0.73
Then the model decides if it makes sense to generate a label that is the verbatim copy of this n-gram (”London”, ”Table Tennis”, ”Bartending”) or alternatively, it converts the n-gram into its plural form (”Kitchen Sinks”, ”Sleeping Pads”). 次に、モデルは、このn-gramの動詞のコピーであるラベル("London"、"Table Tennis"、"Bartending")を生成するか、あるいは、n-gramをその複数の形式("Kitchen Sinks"、"Sleeping Pads")に変換するかを決定する。
訳抜け防止モード: するとモデルは、この n - gram ( ” London ”) の動詞のコピーであるラベルを生成するのが理にかなっているかどうかを判断する。 Table Tennis ”, ” Bartending ”) あるいは n - gram を複数の形式 (“ Kitchen Sinks ”) に変換する。 とSleeping Pads)。
0.76
In the rest of the cases (11%), however, we found evidence that the model is able to creatively compose information from across the item description in order to produce a label that does not appear verbatim in the text. しかし,他の事例(11%)では,本モデルが文章中に冗長に見えないラベルを生成するために,項目記述全体から創造的に情報を構成することができるという証拠が得られた。 0.76
Some examples of these labels are: ”Wine Glasses”, ”Baby Food”, ”Patio Furniture Sets”, ”Lens Accessories”. これらのラベルの例として、"Wine Glasses"、"Baby Food"、"Patio Furniture Sets"、"Lens Accessories"がある。
訳抜け防止モード: これらのラベルの例としては、「ワイングラス」がある。 ” Baby Food ”, ” Patio Furniture Sets ”, ” Lens Accessories ”。
0.82
represents the generated labels. 生成されたラベルを表します 0.56
The labels that are predicted correctly(potentiall y with soft lexical matching) are colored green. 正しく予測されるラベル(潜在的にはソフトレキシカルマッチング)は緑色である。 0.73
Those predicted falsely from the label set are colored red. ラベルセットから誤って予測されたものは、赤です。 0.68
The labels that could not be matched with any labels from the known label set are colored blue. 既知のラベルセットのどのラベルとも一致しないラベルは、青色である。 0.67
In Figure 1a we see that the model generates several completely novel labels ”eyebrow pencils”, ”eyebrow treatments” and both singular and plural forms of ”eyebrow”. 図1aでは、モデルはいくつかの全く新しいラベル、"eyebrow pencils"、"eyebrow treatments"、および"eyebrow"の特異および複数の形式を生成する。 0.79
These labels better describe the input text; however, they are missing from both the label set and the golden set. これらのラベルは入力テキストをよりよく記述するが、ラベルセットとゴールデンセットの両方から欠落している。 0.71
Taxonomists could use such a prediction to improve the taxonomy and potentially the training dataset itself. 分類学者はこのような予測を分類学や訓練データセット自体の改善に利用することができる。 0.55
On the contrary, the novel label generated in Figure 1b is not related to the input text at all and is just a false positive. それとは逆に、図1bで生成された新規ラベルは入力テキストとは無関係であり、単に偽陽性である。 0.71
7.2 Sensibleness and Informativeness of 7.2 感性と情報性 0.81
Novel Labels Sometimes the model generates completely new terms that do not appear as a ground truth label in the test set. 新規ラベル 時には、モデルはテストセットの基底真理ラベルとして現れない全く新しい用語を生成する。 0.67
Even though these could indeed be false positives - as no taxonomy is ever complete - they could also be sensible, and informative new tags that could help the taxonomists expand the known label set. これらは確かに偽陽性であり、分類学が完成していないため、それは賢明であり、分類学者が既知のラベルセットを拡張するのに役立つ情報的な新しいタグでもある。 0.57
Due to this, our quantitative precision results might significantly underestimate the usefulness of the generated novel labels. これにより,生成する新規ラベルの有用性を定量的に過小評価できる可能性が示唆された。 0.59
We inspected a random sample of 100 model predictions (142 novel labels) containing out of vocabulary labels and manually assessed their sensibleness and informativeness using human review. 語彙ラベルから抽出した100個のモデル予測(新規ラベル142個)のランダムサンプルを検査し,人的レビューを用いて手動で評価した。 0.78
This is similar to the work of Shuster et al (2021), where Consistency, Engagingness, and Knowledgeability of the responses of generative models in a conversational setting were manually measured. これはshuster et al(2021年)の作品と似ており、会話環境における生成モデルの応答の一貫性、エンゲージメント、および知識性が手動で測定された。 0.70
We focus on the two characteristics of sensible and informative as a new tag in the taxonomy needs to be both. 我々は,分類学における新しいタグとして,センシブルとインフォメーションの2つの特徴に注目した。 0.73
It needs to make sense while being different enough from existing labels. 既存のラベルと十分に異なることは理にかなっている必要がある。 0.61
In Figure 1 we present two examples of novel, entirely out of vocabulary generated labels. 図1では、語彙生成ラベルから完全に外れた、小説の2つの例を示す。 0.72
The color-map denotes the lexical similarity of generated predictions to the golden set, with gold meaning a perfect match and black being a complete mismatch. カラーマップは生成した予測と黄金集合との語彙的類似性を表し、金は完全な一致を意味し、黒は完全なミスマッチである。 0.72
For this lexical similarity we use the Levenshtein distance similar to section 6.3 with DF = 10. この語彙的類似性のために、df = 10 のセクション 6.3 に似たレベンシュテイン距離を用いる。 0.70
The Y-Axis of the color map corresponds to the golden set labels, and the individual labels in the golden set are colored gold when they are missing from the training set. カラーマップのY軸はゴールデンセットラベルに対応し、ゴールドセットの個々のラベルはトレーニングセットから欠落しているときにカラーゴールドとなる。 0.70
The X-Axis Quantified results of manual review of a subsample of novel predictions by the model can be seen in Table 5. X軸 モデルによる新しい予測のサブサンプルを手作業でレビューした結果は、表5で確認できる。 0.70
65% of the novel generations in this subset are sensible. このサブセットの新規世代のうち65%は合理的である。 0.69
This means they can be safely used as labels/tags. これは、ラベル/タグとして安全に使用できることを意味する。 0.51
But more interestingly, 26% of the novel generated labels we observed were both sensible and informative. しかし、興味深いことに、われわれが観察した新しいレーベルの26%は、賢明で有意義なものだった。 0.56
These are typically more precise labels (more granular) for the input text than the golden set labels. これらは典型的にはゴールデンセットラベルよりも入力テキストの正確なラベル(よりきめ細かい)である。 0.75
This result is interesting as it provides a direct tool for taxonomists to expand/improve their taxonomy. この結果は、分類学者が分類を拡大・拡張するための直接的なツールとして興味深い。 0.48
By going over the 1 − 5% of novel generated labels, they can find a lot of new sensible and informative labels. 新規生成ラベルの1~5%を乗り越えることで、彼らは多くの新しい有能で情報的なラベルを見つけることができる。 0.69
We also want to measure the ability of the semantic soft matching introduced in section 6.3 against the newly introduced sensitive and informative framework. また,新たに導入されたセンシティブかつ情報的枠組みに対して,セクション6.3で導入された意味的ソフトマッチングの能力を測定したい。 0.63
We see in Table 5 that using the semantic matching with the mentioned threshold detects with 96% precision the sensibleness and it also improves the precision for detecting informativeness. 表5では、上記のしきい値と意味的マッチングを使用することで、知覚性96%の精度で検出でき、情報量検出の精度も向上している。 0.72
Decreasing the threshold decreases the precision of detecting sensible tags. 閾値の低下は、感性タグの検出精度を低下させる。 0.67
However, its recall is not very high, and if we wanted to find all the sensible and informative labels, we would still need to do human labeling. しかし、そのリコールはそれほど高くはなく、もし私たちがすべての賢明で情報的なラベルを見つけたかったら、まだ人間のラベルを付ける必要があるでしょう。 0.63
Some more examples of these novel labels generated by the model and their evaluation based on the sensible and informative characteristics can be found in Appendix A. Note that as this manual labeling process is expensive and time-consuming, our initial sample sets have been small. モデルによって生成されたこれらの新しいラベルのさらなる例と、その賢明で情報的な特徴に基づく評価は、appendix aで見ることができる。この手動ラベリングプロセスは高価で時間がかかり、初期サンプルセットは小さくなっていることに注意してください。
訳抜け防止モード: モデルによって生成されたこれらの新しいラベルのいくつかの例 感性と情報的特性に基づく評価は,Appendix Aで見ることができる。 この手動ラベリングプロセスは高価で時間を要するので、最初のサンプルセットは小さくなりました。
0.81
In the future, the novel generated labels can be studied more thoroughly from different aspects. 将来的には、新しいラベルが様々な側面からより徹底的に研究されるようになる。 0.57
英語(論文から抽出)日本語訳スコア
Input Text: NARS Eyebrow Pencil Sculpts and defines the eyebrow with rich, natural looking pigment to softly frame the eyes. 入力テキスト: NARS Eyebrow Pencil Sculpts and defined the eyebrow with rich, natural look pigment to softly frame the eyes。 0.40
The firm texture allows for maximum control and provides long-lasting definition. 堅固なテクスチャは最大制御を可能にし、長期的定義を提供する。 0.60
(a) Sensible and Informative novel generated label (a)感性・インフォーマティブな小説生成ラベル 0.66
Input Text: 1/2 Carat Sterling Silver CZ Cross Stud Earrings The look of white gold at a silver price! 入力テキスト:1/2 Carat Sterling Silver CZ Cross Stud Earrings The look of white gold at a silver price! 0.45
These sterling silver earrings perfectly mimic white gold and diamonds with their rhodium finish and cubic-zirconia stones. これらの銀のイヤリングは、白金とダイヤモンドをロジウムフィニッシュと立方ジルコニア石で完璧に模倣します。 0.71
Rhodium is a metal that is part of the platinum family. ロジウム(Rhodium)は、白金族に属する金属である。 0.72
High-end silver and gold are rhodium treated to prevent oxidation and to have the white shiny look associated with platinum and white gold. ハイエンドの銀と金はロジウム処理により酸化を防ぎ、白金や白金と関連する白色の光沢を持つ。 0.73
These earrings’ rhodium finish will prevent them from tarnishing. これらのイヤリングのロジウムフィニッシュは、汚染を防ぐ。 0.54
(b) Not Sensible and not Informative novel generated label (b)目立たず、情報に乏しい新規のラベル 0.68
Figure 1: Showing examples generated by the model. 図1: モデルによって生成された例を示す。 0.73
Figure 1a showing a sensible and informative prediction while the prediction in Figure 1b is both not sensible and not informative 図1aは、図1bの予測が賢明で、情報的でないときに、意味のある予測を示す 0.70
Semantic Match Yes No Total 意味マッチング はい、トータルなし 0.64
# Labels Sen % Inf % #ラベル Sen % Inf % 0.56
26 116 142 26 116 142 0.42
96 59 65 38 23 26 96 59 65 38 23 26 0.43
Table 5: Human Review of Novel Label Generations on a subset AmazonCat dataset 表5: サブセットAmazonCatデータセット上の新規ラベル生成の人間レビュー 0.73
References R. Babbar and B. Sch¨olkopf. R. Babbar と B. Sch solkopf を参照。 0.69
2017. Dismec – distributed sparse machines for extreme multi-label In Proceedings of the Tenth ACM classification. 2017. Dismec – 極端に多ラベルの分散スパースマシン 10番目のACM分類の証明。 0.57
International Conference on Web Search and Data Mining (WSDM), pages 721–729. ウェブ検索・データマイニング国際会議 (wsdm) 721-729頁。 0.61
R. Babbar and B. Sch¨olkopf. R. Babbar と B. Sch solkopf の略。 0.56
2019. Data scarcity, ro- 2019. データ不足, ロ- 0.55
bustness and extreme multi-label classification. バストネスと極端多重ラベル分類 0.72
Machine Learning, 108(8):1329–1351. 機械学習 108(8):1329–1351。 0.88
Special Issue of the ECML PKDD 2019 Journal Track. ECML PKDD 2019 Journal Track 特集号によせて 0.75
K. Bhatia, K. Dahiya, H. Jain, P. Kar, A. Mittal, Y. Prabhu, and M. Varma. K. Bhatia、K. Dahiya、H. Jain、P. Kar、A. Mittal、Y. Prabhu、M. Varma。 0.39
2016. The extreme classification repository: Multi-label datasets and code. 2016. 極端な分類リポジトリ: マルチラベルのデータセットとコード。 0.61
Nicola De Cao, Gautier Izacard, Sebastian Riedel, and Fabio Petroni. ニコラ・デ・カオ、ガウティエ・イザカール、セバスティアン・リーデル、ファビオ・ペトロニ。 0.46
2021. Autoregressive entity retrieval. 2021. 自己回帰エンティティ検索。 0.46
In International Conference on Learning Representations. 学習表現に関する国際会議に参加。 0.79
Ilias Chalkidis, Manos Fergadiotis, Prodromos Malakasiotis, and Ion Androutsopoulos. ilias chalkidis、manos fergadiotis、prodromos malakasiotis、ion androutsopoulosなど。 0.59
2019. Large-Scale Multi-Label Text Classification on EU Legislation. 2019. EU法に基づく大規模多ラベルテキスト分類 0.62
ACL 2019 - 57th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference, pages 6314–6322. acl 2019 - 第57回計算言語学会年次大会、会議の議事録、ページ6314-6322。 0.66
Wei-Cheng Chang, Hsiang-Fu Yu, Kai Zhong, Yiming Yang, and Inderjit Dhillon. Wei-Cheng Chang、Hsiang-Fu Yu、Kai Zhong、Yiming Yang、Inderjit Dhillon。 0.43
2020. Taming pretrained transformers for extreme multi-label text classification. 2020. 過度なマルチラベルテキスト分類のための事前学習されたトランスフォーマー 0.48
eBay. 2021. ebay。 2021. 0.41
Category Changes. https://pages. カテゴリー変更。 というページがある。 0.60
ebay.co.uk/categoryc hanges/index.html. ebay.co.uk/categoryc hanges/index.html 0.14
[Online; accessed October-2021]. [オンライン、2021年10月アクセス] 0.60
Chuanxing Geng, Sheng-Jun Huang, and Songcan Chen. 忠安(ちゅうあん)玄(げん)、宋(うん)、宋(ちん)。 0.22
2021. Recent advances in open set recognition: A survey. 2021. オープンセット認識の最近の進歩:調査 0.53
IEEE Transactions on Pattern Analysis and Machine Intelligence, 43:3614–3631. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43:3614–3631。 0.42
N. Gupta, S. Bohra, Y. Prabhu, S. Purohit, and M. Varma. N. Gupta、S. Bohra、Y. Prabhu、S. Purohit、M. Varma。 0.40
2021. Generalized zero-shot extreme In Proceedings of the ACM multi-label learning. 2021. acmマルチラベル学習における一般化ゼロショット極小法 0.57
SIGKDD Conference on Knowledge Discovery and Data Mining. SIGKDD Conference on Knowledge Discovery and Data Mining (英語) 0.85
Himanshu Jain, Venkatesh Balasubramanian, Bhanu Chunduri, and Manik Varma. ヒマンシュ・ジャイン、venkatesh balasubramanian、bhanu chunduri、manik varma。 0.40
2019. Slice: Scalable linear extreme classifiers trained on 100 milIn Proceedings lion labels for related searches. 2019. slice: 100 milin proceedings lion labelsでトレーニングされたスケーラブルな線形極限分類器。 0.56
of the Twelfth ACM International Conference on Web Search and Data Mining, WSDM ’19, page 528–536, New York, NY, USA. 第12回 acm international conference on web search and data mining, wsdm ’19, page 528–536, new york, ny, usa (英語)
訳抜け防止モード: 第12回 ACM International Conference on Web Search and Data Mining に参加して WSDM ’19 page 528–536, New York, NY, USA.
0.92
Association for Computing Machinery. アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。 0.36
Himanshu Jain, Yashoteja Prabhu, and Manik Varma. Himanshu Jain, Yashoteja Prabhu, Manik Varma 0.28
Extreme Multi-label Loss Functions for Recommendation, Tagging, Ranking & Other Missing Label Applications. Recommendation, Tagging, Ranking & Other Missing Label Applications のマルチラベルロス関数。 0.71
Himanshu Jain, Yashoteja Prabhu, and Manik Varma. Himanshu Jain, Yashoteja Prabhu, Manik Varma 0.28
2016. Extreme multi-label loss functions for recommendation, tagging, ranking & other missing label applications. 2016. レコメンデーション、タグ付け、ランキング、その他の欠落ラベルアプリケーションのための極端なマルチラベルロス機能。 0.50
KDD ’16, New York, NY, USA. kdd ’16, new york, ny, usa. (英語) 0.71
Association for Computing Machinery. アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。 0.36
Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. アルマン・ジュリン、エドゥアルド・グレイヴ、ピョートル・ボヤノフスキー、トマス・ミコロフ。 0.37
2017. Bag of tricks for efficient text classification. 2017. 効率的なテキスト分類のためのトリックの袋。 0.55
In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pages 427–431, Valencia, Spain. 第15回欧州計算言語学会欧州支部紀要: 第二巻 短文 427-431頁 スペイン・バレンシア
訳抜け防止モード: 計算言語学会欧州支部第15回大会報告 : 第2巻 Short Papers, page 427–431 , Valencia , Spain.
0.60
Association for Computational Linguistics. 計算言語学会会員。 0.52
英語(論文から抽出)日本語訳スコア
Sujay Khandagale, Han Xiao, and Rohit Babbar. Sujay Khandagale、Han Xiao、Rohit Babbar。 0.31
2019. Bonsai - diverse and shallow trees for extreme multilabel classification. 2019. ボンサイ (bonsai) - 極端に多層的な分類のための、多様で浅い木。 0.43
CoRR, abs/1904.08249. CoRR, abs/1904.08249。 0.60
Empirical Methods in Natural Language Processing: System Demonstrations, pages 38–45, Online. 自然言語処理における経験的手法:システムデモ、38-45ページ、オンライン。 0.69
Association for Computational Linguistics. Pengcheng Yang, Shuming Ma, Yi Zhang, Junyang Lin, Qi Su, and Xu Sun. 計算言語学会会員。 pengcheng yang氏、shuming ma氏、yi zhang氏、junyang lin氏、qi su氏、xu sun氏。 0.53
2018. A deep reinforced sequence-to-set model for multi-label text classification. 2018. マルチラベルテキスト分類のための深層強化シーケンス・ツー・セットモデル 0.53
Ian E.H. Yen, Xiangru Huang, Wei Dai, Pradeep Ravikumar, Inderjit Dhillon, and Eric Xing. Ian E.H. Yen, Xiangru Huang, Wei Dai, Pradeep Ravikumar, Inderjit Dhillon, Eric Xing 0.40
2017. Ppdsparse: A parallel primal-dual sparse method for extreme classification. 2017. ppdsparse: 極端分類のための並列原始的スパース法。 0.59
KDD ’17, New York, NY, USA. kdd ’17, new york, new york, usa. (英語) 0.68
Association for Computing Machinery. アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。 0.36
Ian En-Hsu Yen, Xiangru Huang, Pradeep Ravikumar, Kai Zhong, and Inderjit Dhillon. Ian En-Hsu Yen, Xiangru Huang, Pradeep Ravikumar, Kai Zhong, Inderjit Dhillon。 0.41
2016. Pd-sparse : A primal and dual sparse approach to extreme multiclass and multilabel classification. 2016. Pd-スパース : 極端多クラス・多ラベル分類への原始的・二重スパースアプローチ 0.55
In Proceedings of The 33rd International Conference on Machine Learning, volume 48 of Proceedings of Machine Learning Research, pages 3069–3077, New York, New York, USA. 第33回機械学習国際会議の議事録、第48巻機械学習研究議事録、3069-3077ページ、ニューヨーク、ニューヨーク、アメリカ。 0.65
PMLR. Ronghui You, Zihan Zhang, Ziye Wang, Suyang Dai, Hiroshi Mamitsuka, and Shanfeng Zhu. PMLR。 Ronghui You, Zihan Zhang, Ziye Wang, Suyang Dai, Hiroshi Mamitsuka, Shanfeng Zhu。 0.38
2019. Attentionxml: Label tree-based attention-aware deep model for high-performance extreme multi-label text classification. 2019. attentionxml: ラベルツリーに基づく、高性能のエクストリームマルチラベルテキスト分類のためのアテンションアウェア深層モデル。 0.57
Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. tianyi zhang氏、varsha kishore氏、felix wu氏、kilian q. weinberger氏、yoav artzi氏。 0.50
2020. Bertscore: Evaluating text generation with bert. 2020. Bertscore: bertによるテキスト生成の評価。 0.62
Julian Mcauley and Jure Leskovec. ジュリアン・マコーリーと ジュール・レスコヴェック 0.49
Hidden Factors and Hidden Topics: Understanding Rating Dimensions with Review Text. 隠れた要因と隠れたトピック:レビューテキストによるレーティング次元の理解 0.71
Yashoteja Prabhu, Anil Kag, Shrutendra Harsola, Rahul Agrawal, and Manik Varma. yashoteja prabhu, anil kag, shrutendra harsola, rahul agrawal, manik varmaなど。 0.53
2018. Parabel: Partitioned label trees for extreme classification with application to dynamic search advertising. 2018. Parabel: 極端な分類のための分割ラベルツリーと動的検索広告への応用。 0.60
pages 993–1002. 993-1002頁。 0.27
Yashoteja Prabhu, Aditya Kusupati, Nilesh Gupta, and Manik Varma. yashoteja prabhu、aditya kusupati、nilesh gupta、manik varmaなど。 0.50
2020. Extreme regression for dynamic search advertising. 2020. 動的検索広告における極端回帰 0.59
WSDM ’20, page 456–464, New York, NY, USA. wsdm ’20, page 456–464, new york, ny, usa. (英語) 0.65
Association for Computing Machinery. アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。 0.36
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. コリン・ラフェル、ノーム・シャザー、アダム・ロバーツ、キャサリン・リー、シャラン・ナラン、マイケル・マテナ、ヤンチー・周、ウェイ・リー、ピーター・j・リュー。
訳抜け防止モード: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li ピーター・J・リュー(Peter J. Liu)。
0.92
2019. Exploring the Limits of Transfer Learning with a Unified Textto-Text Transformer. 2019. 統一テキストからテキストへのトランスフォーマによるトランスファー学習の限界を探る。 0.55
Journal of Machine Learning Research, 21:1–67. Journal of Machine Learning Research, 21:1–67。 0.38
Nils Reimers and Iryna Gurevych. Nils ReimersとIryna Gurevych。 0.81
2019. SentenceBERT: Sentence embeddings using Siamese BERTnetworks. 2019. SentenceBERT: Siamese BERTnetworksを使用した文の埋め込み。 0.57
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3982–3992, Hong Kong, China. 第9回国際自然言語処理会議(EMNLP-IJCNLP)と第9回国際自然言語処理会議(EMNLP-IJCNLP)において、3982-3992頁、香港、中国。 0.74
Association for Computational Linguistics. Erik Schultheis, Mohammadreza Qaraei, Priyanshu Gupta, and Rohit Babbar. 計算言語学会会員。 Erik Schultheis, Mohammadreza Qaraei, Priyanshu Gupta, Rohit Babbar 0.42
Unbiased Loss Functions for Extreme Classification With Missing Labels. 欠失ラベルを用いた極端分類のための非バイアス損失関数 0.68
Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. カート・シュスター、スペンサー・ポフ、モヤ・チェン、ドゥウェ・キエラ、ジェイソン・ウェストン。 0.50
2021. Retrieval augmentation reduces hallucination in conversation. 2021. 検索増強は会話の幻覚を減少させる。 0.48
Oriol Vinyals, Samy Bengio, and Manjunath Kudlur. オリオール・ヴィニールス、サミー・ベンジオ、マンジュナス・クドゥル。 0.52
2016. Order matters: Sequence to sequence for sets. 2016. 順序問題: 集合のシーケンスからシーケンスへの順序。 0.59
Yue Wang, Jing Li, Irwin King, Michael R. Lyu, and Shuming Shi. yue wang、jing li、irwin king、michael r. lyu、shuming shi。 0.55
2019. Microblog hashtag generation In Proceedvia encoding conversation contexts. 2019. マイクロブログハッシュタグ生成 Proceedvia における会話コンテキストの符号化 0.53
ings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 1624–1633, Minneapolis, Minnesota. ings of the 2019 conference of the north american chapter of the association for computational linguistics: human language technologies, volume 1 (long and short papers), pages 1624–1633, minneapolis, minnesota (英語) 0.41
Association for Computational Linguistics. Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, R´emi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. 計算言語学会会員。 Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, R ́emi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, Alexander M. Rush
訳抜け防止モード: 計算言語学会会員。 トーマス・ウルフ、lysandre、victor sanh、julien chaumond。 clement delangue, anthony moi, pierric cistac, tim rault, r ́emi louf, モーガン・ファントウィッツ ジョー・デイヴィソン サム・シュライファー パトリック・フォン・プラトン clara ma, yacine jernite, julien plu, canwen xu, teven le scao, sylvain gugger, mariama drame, quentin lhoestなど。 アレキサンダー・m・ラッシュ
0.56
2020. Transformers: State-of-the-art natural language processing. 2020. Transformers: 最先端の自然言語処理。 0.61
In Proceedings of the 2020 Conference on 2020年国際会議の議事録において 0.71
英語(論文から抽出)日本語訳スコア
A Appendix: Detailed Summary of Novel Generated Labels or Unseen Labels in Gold A Appendix:ゴールドの新世代ラベルや未確認ラベルの詳細な概要 0.70
Set In this appendix we list the subset of novel generated labels or instances with unseen labels in their gold set by the model that we studied in section 7. セット この付録では、第7節で研究したモデルにより、未確認のラベルを持つ新規なラベルまたはインスタンスのサブセットをゴールドセットにリストアップする。 0.71
Table 6 shows a subsample of predictions using our model on the Amazon dataset and Table 7 shows the same for the Wiki dataset. 表6は、Amazonデータセットで我々のモデルを使用して予測するサブサンプルを示し、表7はWikiデータセットで同じことを示します。 0.69
The color-map denotes the lexical similarity of generated predictions to the golden set with gold meaning a perfect match and black being a complete mismatch. カラーマップは、金と完全に一致し、黒は完全なミスマッチを意味する金のセットに生成された予測の語彙的類似性を表す。 0.66
For this lexical similarity we use the Levenshtein distance similar to section 6.3. この語彙的類似性については、セクション6.3と似たレヴェンシュテイン距離を用いる。 0.62
The Y-Axis of the color map corresponds to the golden set labels and the individual labels in the golden set are colored gold when they are missing from the training set. カラーマップのY軸はゴールデンセットラベルに対応し、ゴールドセットの個々のラベルはトレーニングセットから欠落しているときにカラーゴールドとなる。 0.73
The X-Axis represents the generated labels. X-Axisは生成されたラベルを表す。 0.64
The labels that are predicted correctly are colored green, those predicted falsely from the label set are colored red and the labels that could not be matched with any labels from the known label set are colored blue. 正しく予測されたラベルは緑色で、ラベルセットから誤って予測されたラベルは赤色で、既知のラベルセットのラベルと一致しないラベルは青色である。
訳抜け防止モード: 正確に予測されたラベルは緑色である。 ラベルセットから誤って予測されたものは赤く塗られています そして、既知のラベルセットのラベルと一致しないラベルは、青色です。
0.73
In the left column, we discuss each such novel generated label and evaluate it based on our sensible and informative framework. 左のコラムでは,これらの新奇なラベルについて論じ,その妥当性と情報的枠組みに基づいて評価する。 0.66
Table 6: A sample of predictions where the model generated novel labels on AmazonCat dataset 表6: モデルがAmazonCatデータセット上で新しいラベルを生成する予測のサンプル。 0.84
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
in”air kits”: take but sensible not informative as there is anvery other similar label set in could that have been generated ”intake system”: but sensible not informative in "air kits": take but sensible not informative 類似のラベルセットが "intake system" で生成されているため、情報提供はできない。 0.70
gold K&N 57-9014-1 Fuel Injection Performance Kit Gen2 Air Intake Kit The kit replaces your vehicle’s restrictive factory air filter and air intake housing. 金 K&N 57-9014-1 Fuel Injection Performance Kit Gen2 Air Intake Kit このキットは、車の制限された工場の空気フィルターとエアインテークハウジングを置き換える。 0.73
K intake systems are designed to dramatically reduce intake restriction as they smooth and straighten air flow. Kインテークシステムは、空気の流れを円滑に整列させ、吸気制限を劇的に減らすように設計されている。
訳抜け防止モード: kインテークシステムは 空気の流れを滑らかかつまっすぐにし、吸気制限を劇的に低減する。
0.74
This allows your vehicle’s engine to inhale a larger volume of air than the OEM air filter assembly. これにより、自動車のエンジンはOEMの空気フィルターアセンブリよりも大量の空気を吸うことができる。 0.81
More air means more usable power and acceleration throughout the engine’s RPM range. より多くの空気は、エンジンのRPM範囲全体でより使用可能なパワーと加速を意味する。 0.66
The filters on these kits are washable, reusable and easy to install with tools commonly available. これらのキットのフィルターは洗濯可能で再利用可能で、一般的なツールで簡単にインストールできる。 0.64
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
”drops”: Not sensible & not informative drops”: 意味がなく、情報もない 0.68
and ”acousticelectric basses”: sensible informative. そして 音響ベース(acousticelectric basses) - センシブル・インフォメーション。 0.60
This tag seems to be missing from label set and the closest matching ones ”electric basses” and ”bass guitars” is missing from golden set other The forms with ”/” and ”and” similarly are sensible and informative このタグはラベルセットから欠落しており、最も近い「エレクトリックベース」と「ベースギター」はゴールデンセットから欠落しているようです。
訳抜け防止モード: このタグはラベルセットに欠けているようで、最も近いのが”electric basses”である。 and ” bass guitars” is missing from golden set other the forms with ”/” ” と ” も同様に賢明で情報に富んでいる。
0.84
1/2 Carat Sterling Silver CZ Cross Stud Earrings The look of white gold at a silver price! 1/2 キャラト・スターリング・シルバー CZ クロス・スタッド・アリングズ 銀価格でのホワイトゴールドの外観! 0.73
These sterling silver earrings perfectly mimic white gold and diamonds with their rhodium finish and cubic-zirconia stones. これらの銀のイヤリングは、白金とダイヤモンドをロジウムフィニッシュと立方ジルコニア石で完璧に模倣します。 0.71
Rhodium is a metal that is part of the platinum family. ロジウム(Rhodium)は、白金族に属する金属である。 0.72
High-end silver and gold are rhodium treated to prevent oxidation and to have the white shiny look associated with platinum and white gold. ハイエンドの銀と金はロジウム処理により酸化を防ぎ、白金や白金と関連する白色の光沢を持つ。 0.73
These earrings’ rhodium finish will prevent them from tarnishing. これらのイヤリングのロジウムフィニッシュは、汚染を防ぐ。 0.54
Dean Acoustic-Electric Bass Cutaway Satin Finish Offering a large body with deep, full tone, this Dean acoustic-electric bass guitar (model EABC) also looks great on stage with a handsome satin-finished top made of select spruce wood and an abalone sound hole accent. Dean Acoustic-Electric Bass Cutaway Satin Finish: Dean Acoustic-Electric Bass Cutaway Satin Finish ディーアン・アコースティック・エレクトリック・ベース・ギター(モデルEABC)も舞台に登場しました。 0.53
It also features Dean’s passive pre-amp electronics, a 34-inch scale, and a rosewood fingerboard with pearl dotted inlays. またDeanのパッシブ・プリアンプ・エレクトロニクス、34インチのスケール、および真珠点灯インレー付きローズウッドのフィンガーボードも搭載されている。 0.54
Specifications Top: Select spruce Body: Mahogany Neck: Mahogany Fingerboard: Rosewood with pearl dot inlays Bridge: Rosewood Scale: 34 inches Tuners: Die cast Electronics: Dean passive pre-amp Finish: Satin natural Dean EABC Electric Acoustic Bass is a Large Body, Big Sounding Acoustic Bass. スペックトップ: select spruce body: mahogany neck: mahogany fingerboard: rosewood with pearl dot inlays bridge: rosewood scale: 34inch tuners: die cast electronics: dean passive pre-amp finish: satin natural dean eabc electric acoustic bassは大きなボディ、大きな音響ベースである。 0.83
Dean EABC comes with passive pre amp and is available in satin natural. Dean EABCには受動的プリアンプがあり、自然界で利用できる。 0.72
Dean EABC is the BEST VALUE in a acoustic/electric bass on the market today. Dean EABCは、今日市場に出回っているアコースティック/エレクトリックベース、BEST VALUEだ。 0.76
EABC Select Spruce Top 34” scale Mahogany bound neck Rosewood fingerboard Pearl DOT Inlayes Die Cast Tuners Set Neck Celluliod Binding/Rosette R... EABC Select Spruce Top 34" scale Mahogany bound neck Rosewood fingerboard Pearl DOT Inlayes Die Cast Tuners Set Neck Celluliod Binding/Rosette R... 0.49
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
”ni-cad nails”: Not Sensible and not informative. ni-cad nails”: 意味がなく、情報もない。 0.69
The input text is about nailers and not nails ”straight nails”: Not Sensible and not informative for similar reasons as above 入力テキストは、釘ではなく釘に関するもので、”straight nails”: 感覚的ではなく、上述のような理由で情報的ではない 0.59
DEWALT DC616KA 1-1/2-Inch to 2-1/2-Inch 18-Volt Ni-Cad Cordless 16-Gauge Straight Finish Nailer Kit No compressor. dewalt dc616ka 1-1/2インチから2-1/2インチの18-cadコードレス16ゲージストレートフィニッシュネッカーキット コンプレッサーなし。 0.53
No hoses. No kidding. ホースなし。 冗談じゃない。 0.58
And no sacrifices in speed or power, either. スピードやパワーの犠牲もない。 0.55
There’s absolutely no comparison between this performer and the fuel-cell powered competition, which we thought was a great innovation. このパフォーマンスと燃料電池駆動の競争には、まったく比べ物がない。
訳抜け防止モード: このパフォーマンスと燃料電池の競争とは、まったく比べ物にならない。 素晴らしいイノベーションだと考えました
0.63
But there’s no costly fuel cell to replace on this tool-just pop on a recharged XRP battery and get back on the job. しかし、このツールを使って充電したXRPバッテリーを充電して仕事に戻るのに、燃料電池を交換する費用はかからない。 0.76
The only difference you’ll feel between this and a traditional pneumatic is that you’re not tethered to an air hose. 従来の空気圧との違いは、空気ホースに繋がっていないことだ。 0.47
It’s just as fast and fires just as powerfully into both soft and hard joints. ほぼ同じ速度で、柔らかく硬い関節に火をつけるのと同じくらい強力です。 0.57
We love that you can choose bump or sequential mode for precision or speed, something most nailers don’t offer, and the integrated headlight is another impressive addition, really lighting up your workpiece even in the worst conditions. 精度やスピードの面ではバンプモードやシーケンシャルモードを選択できるのが気に入っています。
訳抜け防止モード: 精度やスピードでバンプモードやシーケンシャルモードを選べることが大好きです。 殆どの爪屋が提供しないもの、そして 内蔵ヘッドライトも素晴らしい追加機能で、最悪の状況でも本当にワークピースを照らします。
0.59
There’s a fantastic six-position numbered dial to reference your depths, so you can move easily between, for example, baseboard and ... 奥行きを参考に、素晴らしい6位置番号付きダイヤルがあるので、例えばベースボードと...の間を簡単に移動できます。 0.70
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
and ”usability”: sensible informative. そして 使いやすさ”: 賢明な情報。 0.63
The topic being discussed is Usability Inspection for UIs. 議論されているトピックはUIのユーザビリティ検査である。 0.64
The labels seems to be missing from both label set and golden set. レーベルは、レーベルセットとゴールデンセットの両方に欠けているようだ。 0.72
mi- ”mono crophones”: Not Sensible and not informative as mono microphones are not mentioned in text ”single crophones”: Not Sensible and not informative similar for reasons as above み- モノクロホン」:「モノクロホン」とは、テキストに「モノクロホン」と書かれていないため、意味がなく、情報に乏しい。
訳抜け防止モード: み- モノクロホン」 : テキスト中ではモノマイクロフォンが言及されていないため、情報に乏しい「モノクロホン」 上記のような理由から 情報提供を行なわない
0.60
mi- Usability Inspection Methods Considered the founder of this research area, Nielsen presents a contributed exposition written by the foremost experts in this rapidly growing and important field. み- ユーザビリティ検査手法 この研究分野の創始者を考えると、ニールセンは、この急速に成長し重要な分野において、最上級の専門家によって書かれた展示を寄稿している。 0.52
Devised for user interface practitioners searching for cost-effective ways of improving their designs, the book begins with descriptions of simple discount usability engineering methods such as heuristic evaluation which can be learned quickly and immediately applied to the reader’s current project. ユーザインターフェースの実践者がデザインを改善するための費用対効果の高い方法を探すために考案された本書は、読者の現在のプロジェクトに適用可能なヒューリスティック評価のような、単純なディスカウントユーザビリティエンジニアリング方法の記述から始まります。 0.78
Later chapters cover more formal inspection techniques offering additional benefits and discuss practical aspects of comparing the methods and user testing along with suggestions for when to use what techniques. 後半の章では、さらなるメリットを提供する正式な検査テクニックを取り上げ、メソッドとユーザテストの比較の実践的な側面と、どのテクニックを使うかの提案について論じている。 0.62
The last few years have seen the emergence of usability inspection (UI) as an important new tool to help user interface designers and software developers guarantee that their products meet the highest standards of usability. ユーザビリティインスペクション(UI)の出現は,ユーザインターフェースデザイナやソフトウェア開発者が自身の製品がユーザビリティの最高基準を満たすことを保証するための重要な新ツールとして,ここ数年で注目されてきた。 0.71
Everywhere UI methods have been implemented they have proven to be f... UIメソッドが実装されているすべての場所で、fが証明されています。 0.50
Audio Technica ATM8010 ATM10a Artist Series Fixed-Charge ’Omni’ Condenser Microphone Ideal for group vocals, strings, cymbal overheads, acoustic guitar and piano. Audio Technica ATM8010 ATM10a Artist Series Fixed-Charge ’Omni’ Condenser Microphone Ideal for group vocals, strings, cymbal overheads, acoustic guitar and piano.
訳抜け防止モード: audio technica atm8010 atm10a artist series fixed - charge ’ omni ’ condenser microphone ideal for group vocals 弦、シンバルオーバヘッド、アコースティックギター、ピアノ。
0.78
Omni pattern provides maximum ambient pickup. Omniパターンは、最大環境ピックアップを提供する。 0.65
Extremely smooth, extended response on- and off-axis. 非常に滑らかで、伸長した応答がオン・オフ軸である。 0.47
Low sensitivity to popping and overload. ポッピングやオーバーロードに対する感度が低い。 0.64
Operates on battery or phantom power. バッテリーまたはファントムパワーで動作する。 0.78
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
”wrench holders”: Not sensible and not informative. ”wrenchholders”: 賢明で、情報的ではない。 0.79
”martini boxes”: Not sensible and not informative. martini box”: 意味がなく,情報的でもない。 0.64
This mistake is perhaps due to the term ”Martin” being mentioned multiple times in another context in the input この間違いは、入力の別の文脈で何度も言及される“Martin”という用語が原因だろう。 0.78
DEWALT DW2050 Quick Change 3-Inch Magnetic Bit Tip Holder DeWalt DW2050 Quick Change 3-Inch Magnetic Bit Tip Holder 115-DW2050 Magnetic Holder Quick Change Magnetic Holder Unit Sold is in measure of 1 Box DEWALT DW2050 クイックチェンジ 3インチ磁気ビットチップホルダ DeWalt DW2050 クイックチェンジ 3インチ磁気ビットチップホルダ 115-DW2050 マグネティックホルダ クイックチェンジ クイックチェンジ マグネティックホルダ ユニット ソルドは1箱。 0.85
Nature House M12K Trio Purple Martin Pioneer House Allow purple martins to colonize in your yard with the Trio Purple Martin Pioneer House. Nature House M12K Trio Purple Martin Pioneer Houseは、紫のマーチンを庭に植民地化することを許可している。 0.84
This home was one of the first ever built from aluminum, which helps keep the martins cool during the hot summer months. この家はアルミニウムで作られた最初の家の一つで、暑い夏の間マーチンズを冷やすのに役立ちました。 0.71
Such construction also offers durability to your martin house and will last several seasons. このような建築はマーティン家にも耐久性をもたらし、数シーズン続くだろう。 0.64
Each of the 12 compartments is 6 inches long x 6 inches wide x 6 inches high, the perfect size for martins, and has a 2.125 inch entrance hole. それぞれの区画は長さ6インチ×6インチ幅x6インチの高さで、マーティンズにとって完璧な大きさであり、2.125インチの入口穴がある。 0.66
Each compartment also has an individual lift up, snap out door so you can clean out one without disturbing the other nests. それぞれの区画には個別のリフトがあり、ドアをスナップアウトして、他の巣を邪魔することなく片付けることができる。 0.57
Guard rails along the porches of the home prevent babies from falling out of the nest and allow martins room to perch and preen. 家のポーチ沿いのガードレールは、赤ちゃんが巣から落ちるのを防ぎ、マーティンズ・ルームに腰掛けて捕食できるようにしている。 0.62
This is also accomplished with an included 22 inch roof perch. また、22インチの屋根が設けられている。 0.60
A set of 12 winter door stops close the house when your martins migrate south. 12の冬のドアが 家を閉じてる マーティンが南に移動する時 0.66
The Pioneer home is compatible with any pole with a 1.25 inch outside diameter. パイオニアホームは直径1.25インチの任意のポールと互換性がある。 0.69
Help purple martins nest i... 紫のマーティンの巣を手伝う 0.63
英語(論文から抽出)日本語訳スコア
Novel Labels ”eyebrow pencils”: sensible and informative. 新規なラベル “eyebrow pencils”: 賢明で情報に富む。 0.71
This label describes the input text very precisely and the golden seems not to be complete. このラベルは入力テキストを非常に正確に記述しており、黄金は完成していないようである。
訳抜け防止モード: このラベルは入力テキストを非常に正確に記述する 黄金は完成していないようです
0.75
”eyebrow treatment” & ”eyebrow” sensible and informative like the above. eyebrow treatment” と “eyebrow” は,上記のように賢明かつ情報的です。 0.83
& ”boot wheels”: Not sensible and not informative. & ”boot wheels”: 意味がなく、情報もない。 0.61
There seems to be a perfect in the label golden set that was also predicted ラベルのゴールデンセットには、同時に予測された完璧なものがあります 0.70
Lexical Similarity Map & Input Text 語彙類似性マップと入力テキスト 0.81
NARS Eyebrow Pencil Sculpts and defines the eyebrow with rich, natural looking pigment to softly frame the eyes. ナリス・アイブロウ・鉛筆(nars eyebrow pencil)が彫刻し、アイブロウを豊かで自然な顔料で定義し、眼球を柔らかくフレーム化する。 0.53
The firm texture allows for maximum control and provides long-lasting definition. 堅固なテクスチャは最大制御を可能にし、長期的定義を提供する。 0.60
Dorman 614-434 HELP! ドーマン 614-434 ヘルプ! 0.66
Constant Velocity Joint Quick Boot Kit Dorman Products, Inc. is well-known as a leader in providing quality auto parts to the aftermarket. Constant Velocity Joint Quick Boot Kit Dorman Products, Inc.は、アフターマーケットに高品質な自動車部品を提供するリーダーとしてよく知られている。 0.71
We’ve earned our reputation for excellence from over three decades of experience in providing automotive replacement parts, fasteners and service line products primarily for the automotive aftermarket. 自動車の後継部品、ファスナー、およびサービスライン製品を主に自動車のアフターマーケット向けに提供した30年以上の経験から、当社の評判を得てきた。 0.64
Our prestigious position stems from a unique combination of application expertise, innovative product design, and breadth of product offerings, many of which are not conveniently or economically available elsewhere. 私たちの権威ある立場は、アプリケーションの専門知識、革新的な製品デザイン、製品提供の広さの独特な組み合わせに起因しています。
訳抜け防止モード: 私たちの権威ある立場は、アプリケーション専門のユニークな組み合わせに由来する。 革新的な製品デザインや製品提供の幅が広がり 便利でも経済的にも利用できません
0.74
At Dorman, we take pride in the quality of our products and in your satisfaction. Dormanでは、プロダクトの品質とあなたの満足度を誇りに思っています。 0.77
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
”kids’ books”: sensible but not informative as we have a similar known label ”childrens’ books” キッドの本」:「子どもの本」と似たラベルがあるため、賢明だが有意義ではない 0.76
Science in Seconds at the Beach: Exciting Experiments You Can Do in Ten Minutes or Less Science in Seconds at the Beach teaches children dozens of activities that investigate the mysteries of animals, plants, sand, shells, sun and water. science in seconds at the beach: エキサイティングな実験を10分以内に行うことができる ビーチでのエキサイティングな実験は、動物、植物、砂、貝殻、太陽、水のミステリーを調査する多くの活動を子供たちに教える。 0.81
Easy step-by-step instructions and illustrations are provided for each activity. アクティビティ毎に簡単にステップバイステップの指示とイラストが提供される。 0.64
”–Asbury Park Press Surf’s up for science fun with these quick and easy activities. Asbury Park Press Surf(アスベリー・パーク・プレス・サーフィン)は、こうした素早くて簡単な活動で科学を楽しみにしている。 0.51
This book offers over 150 quick and easy experiments that will help children investigate the mysteries of animals, plants, sand, shells, sun, and water. この本は、子どもたちが動物、植物、砂、貝殻、太陽、水の謎を調査するのに役立つ150以上の迅速で簡単な実験を提供している。 0.73
Each activity takes ten minutes or less to complete, and answers a provocative question like: Do fish close their eyes? 各アクティビティの完了には10分かそれ以下を要し、挑発的な質問に答える:魚は目を閉じているか? 0.73
Can you hold your breath longer than a whale? クジラより呼吸が長持ちできますか。 0.53
How is sand made? How can seaweed forecast the weather? 砂の作り方は? 海藻はどうやって天気を予報できますか。 0.68
Do all snail shells coil in the same direction? すべての貝殻は同じ方向にコイルしますか。 0.79
And why do we seem to hear the ocean in empty sea shells? なぜ海が空の貝殻で聞こえるのか? 0.55
Do fish close their eyes? 魚は目を閉じますか。 0.72
Can you hold your breath longer than a whale? クジラより呼吸が長持ちできますか。 0.53
How is sand made? Why do we hear the ocean in e... 砂の作り方は? なぜ私たちは海を耳にしますか。 0.75
英語(論文から抽出)日本語訳スコア
Table 7: A sample of predictions where the model generated novel labels on Wiki dataset 表7:モデルがWikiデータセット上で新しいラベルを生成する予測のサンプル 0.81
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
in United ”Events the States”: sensible but not informative ”Events in WashingDS”: ton sensible but not informative in ”Dinners the United States”: sensible but not informative in United ”events the states”: 賢明だが情報的ではない”events in washds”: ton sensible but not informative in ”dinners the united states”: 賢明だが、情報的ではない 0.61
White House Iftar dinner use American English date June 2017 use mdy dates date June 2017 The White House Iftar dinner is an annual reception held at the White House and hosted by the President of the United States U S President and the First Lady of the United States First Lady to celebrate the Muslim month of Ramadan The annual tradition started in 1996 when Hillary Clinton hosted a Ramadan Eid al Fitr Eid celebration Iftar dinner The modern iteration of the reception is attended by prominent members of the Muslim American community including politicians community leaders and students Thomas Jefferson held the first White House dinner with a Muslim while hosting Sidi Soliman Mellimelli an envoy of Beylik of Tunis on December 9 1805 during the First Barbary War lt ref gt cite web last Shellnutt first Kate date August 4 2011 title Thomas Jefferson held first White House Ramadan celebration website IIP Digital publisher blog chron com url http blog chron com believeitornot 2011 08 thoma... White House Iftar dinner use American English date June 2017 use mdy dates date June 2017 The White House Iftar dinner is an annual reception held at the White House and hosted by the President of the United States U S President and the First Lady of the United States First Lady to celebrate the Muslim month of Ramadan The annual tradition started in 1996 when Hillary Clinton hosted a Ramadan Eid al Fitr Eid celebration Iftar dinner The modern iteration of the reception is attended by prominent members of the Muslim American community including politicians community leaders and students Thomas Jefferson held the first White House dinner with a Muslim while hosting Sidi Soliman Mellimelli an envoy of Beylik of Tunis on December 9 1805 during the First Barbary War lt ref gt cite web last Shellnutt first Kate date August 4 2011 title Thomas Jefferson held first White House Ramadan celebration website IIP Digital publisher blog chron com url http blog chron com believeitornot 2011 08 thoma...
訳抜け防止モード: ホワイトハウス・イブター・ディナー (White House Iftar dinner) は、2017年6月、アメリカ英語で、2017年6月、ホワイトハウス・イブター・ディナー (White House Iftar dinner) は、ホワイトハウスで毎年開催されるレセプションである。 アメリカ合衆国大統領によって主催された 1996年、ヒラリー・クリントンがラマダン・エイド・アル・フィトル・エイドの祝祭「イブター・ディナー」を開催した。 学生のトーマス・ジェファーソンは、1805年12月9日にチュニスのベイリクの使者であるシーディ・ソリマン・メリメッリ(Sidi Soliman Mellimelli)を第1回バーバリ戦争中の1805年12月9日に司会し、第1回シェルナット・ファースト・ケイト(Shellnutt first Kate) 2011年8月4日 タイトルのトーマス・ジェファーソン(Thomas Jefferson)は、最初のホワイトハウス・ラマダンの祝祭ウェブサイトIIP Digital Publishs chron com url http blog chron com believeitornot 2011 08 thoma.. .
0.65
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
”People’s Democratic Party Turkey Politicians”: sensible but not informative as there is another very label similar set in could that have been generated ”MEPs for 2014-19”: sensible informative 国民民主党のトルコ人政治家」:「2014-19」の「MEPs for 2014-19」が生み出された別の非常にラベルの似たセットが存在するため、賢明だが情報的ではない 0.64
Turkey gold and Feleknas Uca Use dmy dates date October 2013 Infobox officeholder name Feleknas Uca office Grand National Assembly of Turkey Composition Member of the Grand National Assembly honorific suffix Member of Parliament Turkey MP image Feleknas Uca jpg constituency Diyarbak r electoral district Diyarbak r June 2015 Turkish general election June 2015 November 2015 Turkish general election Nov 2015 lt br gt Batman electoral district Batman 2018 Turkish general election 2018 signature signature alt party Peoples Democratic Party Turkey Peoples Democratic Party lt br gt lt br gt otherparty Party of Democratic Socialism Germany Party of Democratic Socialism 1999 2007 lt br gt The Left Germany Die Linke 2007 2009 office1 Member of the European Parliament for Germany birth date Birth date and age 1976 09 17 birth place Celle Lower Saxony West Germany death date lt Death date and age YYYY MM DD YYYY MM DD gt death place resting place nationality alma mater occupation website awards image size 220px t... トルコ 金 そして Feleknas Uca Use dmy dates date October 2013 Infobox officeholder name Feleknas Uca office Grand National Assembly of Turkey Composition Member of the Grand National Assembly honorific suffix Member of Parliament Turkey MP image Feleknas Uca jpg constituency Diyarbak r electoral district Diyarbak r June 2015 Turkish general election June 2015 November 2015 Turkish general election Nov 2015 lt br gt Batman electoral district Batman 2018 Turkish general election 2018 signature signature alt party Peoples Democratic Party Turkey Peoples Democratic Party lt br gt lt br gt otherparty Party of Democratic Socialism Germany Party of Democratic Socialism 1999 2007 lt br gt The Left Germany Die Linke 2007 2009 office1 Member of the European Parliament for Germany birth date Birth date and age 1976 09 17 birth place Celle Lower Saxony West Germany death date lt Death date and age YYYY MM DD YYYY MM DD gt death place resting place nationality alma mater occupation website awards image size 220px t... 0.65
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
films”: and ”Valhalla Enterteinment sensible informative is as another very label similar set in that could have been generated と『映画』。 valhalla enterteinment sensible informative(バルハラ・エンテインメント・センシブル・インフォメーション・インフォメーション)は、他の非常によく似たセットが生成されたものである。 0.54
there gold Armageddon (1998 film) use mdy dates date June 2012 Infobox film name Armageddon image Armageddon poster06 jpg alt caption Theatrical release poster director Michael Bay producer Plainlist Jerry Bruckheimer Gale Anne Hurd Michael Bay screenplay Plainlist Jonathan Hensleigh J J Abrams story Plainlist Robert Roy Pool Jonathan Hensleigh starring plainlist Bruce Willis Billy Bob Thornton Liv Tyler Ben Affleck Will Patton Peter Stormare Keith David Steve Buscemi narrator lt Used in documentaries only gt music Plainlist Trevor Rabin cinematography John Schwartzman editing Plainlist Mark Goldblatt Chris Lebenzon Glen Scantlebury studio Plainlist Touchstone Pictures Jerry Bruckheimer Films Valhalla Entertainment Valhalla Motion Pictures distributor Buena Vista Pictures released Film date 1998 07 01 runtime 151 minutes lt Theatrical runtime 150 20 gt lt ref gt cite web url https bbfc co uk releases armageddon 1970 6 title ARMAGEDDON 12 work British Board of Film Classification date July 7 1998 ... そこ 金 Armageddon (1998 film) use mdy dates date June 2012 Infobox film name Armageddon image Armageddon poster06 jpg alt caption Theatrical release poster director Michael Bay producer Plainlist Jerry Bruckheimer Gale Anne Hurd Michael Bay screenplay Plainlist Jonathan Hensleigh J J Abrams story Plainlist Robert Roy Pool Jonathan Hensleigh starring plainlist Bruce Willis Billy Bob Thornton Liv Tyler Ben Affleck Will Patton Peter Stormare Keith David Steve Buscemi narrator lt Used in documentaries only gt music Plainlist Trevor Rabin cinematography John Schwartzman editing Plainlist Mark Goldblatt Chris Lebenzon Glen Scantlebury studio Plainlist Touchstone Pictures Jerry Bruckheimer Films Valhalla Entertainment Valhalla Motion Pictures distributor Buena Vista Pictures released Film date 1998 07 01 runtime 151 minutes lt Theatrical runtime 150 20 gt lt ref gt cite web url https bbfc co uk releases armageddon 1970 6 title ARMAGEDDON 12 work British Board of Film Classification date July 7 1998 ... 0.60
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
”Bulgaria Under-20 international footballers”: sensible and informative ブルガリアu-20国際サッカー選手」:賢明で情報に富む 0.66
Todor Kolev (footballer, born 1980) Other people Todor Kolev Use dmy dates date August 2012 Infobox football biography name Todor Kolev image Kolev todor jpg caption Kolev playing for Ludogorets in 2011 fullname Todor Aleksandrov Kolev birth date Birth date and age 1980 2 8 df y birth place Veliko Tarnovo Bulgaria height convert 1 86 m ftin 0 abbr on currentclub SFC Etar Veliko Tarnovo Etar II Etar Veliko Tarnovo II clubnumber 10 position Forward association football Forward youthyears1 youthclubs1 F C Etar Etar Veliko Tarnovo years1 1997 1999 clubs1 F C Etar Etar Veliko Tarnovo caps1 goals1 years2 1999 2005 clubs2 PFC Levski Sofia Levski Sofia caps2 55 goals2 16 years3 2000 2002 clubs3 PFC Spartak Pleven Spartak Pleven loan caps3 49 goals3 57 years4 2005 clubs4 PFC Marek Dupnitsa Marek Dupnitsa loan caps4 4 goals4 1 years5 2005 2007 clubs5 PFC Slavia Sofia Slavia Sofia caps5 55 goals5 32 years6 2007 2008 clubs6 Alemannia Aachen caps6 20 goals6 5 years7 2008 2010 clubs7 PFC Slavia Sofi... Todor Kolev (footballer, born 1980) Other people Todor Kolev Use dmy dates date August 2012 Infobox football biography name Todor Kolev image Kolev todor jpg caption Kolev playing for Ludogorets in 2011 fullname Todor Aleksandrov Kolev birth date Birth date and age 1980 2 8 df y birth place Veliko Tarnovo Bulgaria height convert 1 86 m ftin 0 abbr on currentclub SFC Etar Veliko Tarnovo Etar II Etar Veliko Tarnovo II clubnumber 10 position Forward association football Forward youthyears1 youthclubs1 F C Etar Etar Veliko Tarnovo years1 1997 1999 clubs1 F C Etar Etar Veliko Tarnovo caps1 goals1 years2 1999 2005 clubs2 PFC Levski Sofia Levski Sofia caps2 55 goals2 16 years3 2000 2002 clubs3 PFC Spartak Pleven Spartak Pleven loan caps3 49 goals3 57 years4 2005 clubs4 PFC Marek Dupnitsa Marek Dupnitsa loan caps4 4 goals4 1 years5 2005 2007 clubs5 PFC Slavia Sofia Slavia Sofia caps5 55 goals5 32 years6 2007 2008 clubs6 Alemannia Aachen caps6 20 goals6 5 years7 2008 2010 clubs7 PFC Slavia Sofi... 0.48
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
John Borstlap John Borstlap 4 November 1950 Rotterdam is a Dutch composer lt ref gt cite book title Entartete Musik publisher Emanuel Overbeeke amp Leo Samama url https books google com id NydqmVZUhlEC amp pg PA175 amp lpg PA175 amp dq john borstlap v onepage amp q john 20borstlap amp f false isbn 9789053567159 year 2004 lt ref gt and author on cultural subjects related to music and the visual arts He claims to be rooted in German musical traditions and is a proponent of a revival of tonal and classical traditions John Borstlap John Borstlap 4 November 1950 Rotterdam is a Dutch composer lt ref gt cite book title Entartete Musik publisher Emanuel Overbeeke amp Leo Samama url https books google com id NydqmVZUhlEC amp pg PA175 amp lpg PA175 amp dq john borstlap v onepage amp q john 20borstlap amp f false isbn 9789053567159 year 2004 lt ref gt and author on cultural subjects related to music and the visual arts He claims to be rooted in German musical traditions and is a proponent of a revival of tonal and classical traditions
訳抜け防止モード: ジョン・ボルストラップ・ジョン・ボルストラップ(John Borstlap John Borstlap, 1950年11月4日 - )は、オランダの作曲家。 lt ref gt cite book Emanuel Overbeeke amp Leo Samama url https book google com i d NydqmVzuhlEC amp pg PA175 amp lpg PA175 amp dq john borstlap v onepage amp q john 20borstlap amp f false isbn 9789053567159 year 2004 lt ref gt 音楽と視覚芸術に関する文化的な主題の著者で、彼はドイツの音楽伝統に根ざしていると主張している 古典的伝統の復活を提唱しています
0.92
英語(論文から抽出)日本語訳スコア
Novel Labels Lexical Similarity Map & Input Text 新規ラベル 語彙類似性マップと入力テキスト 0.71
”Artists from Changzhou”: sensible and informative ”Qianlong people”: sensible informative 長州美術家』:賢明で情報に富んだ『qianlong people』:センシブル・インフォメーション 0.64
and Yun Bing Infobox artist name Yun Bing native name native name lang zh birth place Wujin District Changzhou known for notable works Hairpin Scroll 1735 1796 lt br gt Quiet Provisions of the Studio 1735 1796 style Bird and flower painting quot Boneless quot technique movement spouse Mao Hongtiao module Infobox Chinese child yes t s p Y n B ng w Y n Ping altname Qingyu c2 linktext p2 Q ngy w2 Ch ing y patrons memorials Yun Bing zh c dates unknown courtesy names Qingyu zh c and Haoru zh c was a Chinese painter during the Qianlong era She is well known for her bird and flower painting s executing the quot boneless quot technique and became the most famed of the Yun family s female artists lt ref name lu gt cite title trans title Discussion of the achievements of the influential family near the mound the Yun clan language Chinese author Lu Haiyang journal Changzhou gong xueyuan xuebao shekeban volume 31 issue 1 date 2013 pages 1 7 lt ref gt そして Yun Bing Infobox artist name Yun Bing native name native name lang zh birth place Wujin District Changzhou known for notable works Hairpin Scroll 1735 1796 lt br gt Quiet Provisions of the Studio 1735 1796 style Bird and flower painting quot Boneless quot technique movement spouse Mao Hongtiao module Infobox Chinese child yes t s p Y n B ng w Y n Ping altname Qingyu c2 linktext p2 Q ngy w2 Ch ing y patrons memorials Yun Bing zh c dates unknown courtesy names Qingyu zh c and Haoru zh c was a Chinese painter during the Qianlong era She is well known for her bird and flower painting s executing the quot boneless quot technique and became the most famed of the Yun family s female artists lt ref name lu gt cite title trans title Discussion of the achievements of the influential family near the mound the Yun clan language Chinese author Lu Haiyang journal Changzhou gong xueyuan xuebao shekeban volume 31 issue 1 date 2013 pages 1 7 lt ref gt
訳抜け防止モード: そして yun bing infobox artist name yun bing native name lang zh birth place wujin district changzhou famous works hairpin scroll 1735 1796 lt br gt quiet provisions of the studio 1735 1796 style bird そしてフラワーペインティング quot boneless quot technique movement spouse mao hongtiao module infobox chinese child yes t s p y n b ng w y n ping altname qingyu c2 linktext p2 q ngy w2 ch ing y patrons memorials yun bing zh c 年月日不詳 清州zhc ハオル・zhcは 清龍時代の中国の画家で 鳥や花の絵で有名で そして、ユン家の女性アーティストとして最も有名になった lt ref name lu gt は、ユン氏言語学者lu haiyang journal changzhou gong xueyuan xuebao shekeban volume 31 issue 1 date 2013 pages 1 7 lt ref gt
0.70
                                               ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。