論文の概要: What do Toothbrushes do in the Kitchen? How Transformers Think our World is Structured

• arxiv url: http://arxiv.org/abs/2204.05673v1
• Date: Tue, 12 Apr 2022 10:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 12:48:19.949994
• Title: What do Toothbrushes do in the Kitchen? How Transformers Think our World is Structured
• Title（参考訳）: 歯ブラシはキッチンで何をしますか。 トランスフォーマーが世界の構造をどう考えるか
• Authors: Alexander Henlein, Alexander Mehler
• Abstract要約: 本稿では,トランスフォーマーに基づく言語モデルがオブジェクト関係に関する知識を抽出するのにどの程度役立つかを検討する。 異なる類似度尺度と組み合わせたモデルが,抽出できる知識の量で大きく異なることを示す。 驚くべきことに、静的モデルは、コンテキスト化されたモデルと同様に、ほぼ同じようにパフォーマンスします。
• 参考スコア（独自算出の注目度）: 137.83584233680116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models are now predominant in NLP. They outperform approaches based on static models in many respects. This success has in turn prompted research that reveals a number of biases in the language models generated by transformers. In this paper we utilize this research on biases to investigate to what extent transformer-based language models allow for extracting knowledge about object relations (X occurs in Y; X consists of Z; action A involves using X). To this end, we compare contextualized models with their static counterparts. We make this comparison dependent on the application of a number of similarity measures and classifiers. Our results are threefold: Firstly, we show that the models combined with the different similarity measures differ greatly in terms of the amount of knowledge they allow for extracting. Secondly, our results suggest that similarity measures perform much worse than classifier-based approaches. Thirdly, we show that, surprisingly, static models perform almost as well as contextualized models -- in some cases even better.
• Abstract（参考訳）: トランスフォーマーベースのモデルは現在ではNLPが主流である。 多くの点で静的モデルに基づくアプローチよりも優れています。 この成功により、トランスフォーマーによって生成される言語モデルに多くのバイアスが生じる研究がもたらされた。 本稿では, 対象関係に関する知識の抽出にトランスフォーマーに基づく言語モデルがどの程度有効かを調べるために, バイアスに関するこの研究を利用する(XはY、XはZ、アクションAはXを含む)。 この目的のために、文脈化されたモデルと静的なモデルを比較する。 この比較は、多くの類似性尺度と分類器の適用に依存する。 まず, 異なる類似度尺度と組み合わせたモデルが, 抽出可能な知識量で大きく異なることを示す。 第2に,類似度測定は分類器に基づく手法よりもはるかに優れていることを示す。 第3に、驚くべきことに、静的モデルはコンテキスト化されたモデルとほぼ同じように動作することを示しています。

関連論文リスト

• Exploring the Learning Capabilities of Language Models using LEVERWORLDS [23.40759867281453]
  設定のモデルを学ぶには、一般的な構造ルールとインスタンスの特定の特性の両方を学ぶ必要がある。 本稿では,様々な学習方法における一般学習と特定学習の相互作用について,サンプル効率に着目して検討する。
  論文  参考訳（メタデータ） (2024-10-01T09:02:13Z)
• Approximate Attributions for Off-the-Shelf Siamese Transformers [2.1163800956183776]
  文変換器のようなシームエンコーダは、最も理解されていない深層モデルの一つである。 本稿では,原モデルの予測性能を維持するために,正確な帰属能力を持つモデルを提案する。 また,市販モデルに対する近似属性を求める手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T10:49:05Z)
• Perturbed examples reveal invariances shared by language models [8.04604449335578]
  2つのNLPモデルを比較するための新しいフレームワークを提案する。 このフレームワークは、同じおよび異なるアーキテクチャファミリーのモデルに関する実験であり、モデルの変化が言語機能にどのように影響するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2023-11-07T17:48:35Z)
• Classical Sequence Match is a Competitive Few-Shot One-Class Learner [15.598750267663286]
  我々は,未知のインスタンスが同一のクラスに属しているかどうかを検出するために,実際に既知のサンプルを参照として用いた,数発のワンクラス問題について検討する。 メタラーニング(メタラーニング)では、古典的なシーケンスマッチング法、すなわちコントラスト・アグリゲートがトランスフォーマーを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2022-09-14T03:21:47Z)
• Ensemble Transformer for Efficient and Accurate Ranking Tasks: an Application to Question Answering Systems [99.13795374152997]
  本研究では,大きな変圧器のアンサンブルを1つの小さなモデルに蒸留するニューラルネットワークを提案する。 MHSモデルは、入力をエンコードするために使用されるトランスフォーマー層のスタックと、ランキングヘッドのセットの2つのコンポーネントから構成される。 従来の蒸留法とは異なり,本手法では,アンサンブルメンバーの多様性を保ちつつ,個々のモデルを教師として利用している。
  論文  参考訳（メタデータ） (2022-01-15T06:21:01Z)
• Taming Sparsely Activated Transformer with Stochastic Experts [76.0711573018493]
  わずかに活性化されたモデル(SAM)は、計算コストを大幅に増加させることなく、非常に大量のパラメータを持つように容易にスケールすることができる。 本稿では,新しいエキスパートベースモデルTHOR(Transformer witH StOchastic ExpeRts)を提案する。 Switch Transformerのような古典的なエキスパートベースのモデルとは異なり、THORの専門家はトレーニングと推論の間、各入力に対してランダムにアクティベートされる。
  論文  参考訳（メタデータ） (2021-10-08T17:15:47Z)
• A Neural Few-Shot Text Classification Reality Check [4.689945062721168]
  いくつかのニューラルな数発の分類モデルが出現し、時間とともに大きな進歩をもたらした。 本稿では,これらのモデルを全て比較し,まず画像処理分野のモデルをNLPに適応させ,次にトランスにアクセスできるようにした。 次に,多数のクラスを持つことで知られるインテント検出タスクにおいて,同じトランスフォーマーベースのエンコーダを備えたモデルをテストする。
  論文  参考訳（メタデータ） (2021-01-28T15:46:14Z)
• Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
  ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。 我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
  論文  参考訳（メタデータ） (2020-11-08T15:53:56Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。