論文の概要: Comparing Text Representations: A Theory-Driven Approach

• arxiv url: http://arxiv.org/abs/2109.07458v1
• Date: Wed, 15 Sep 2021 17:48:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:14:50.641796
• Title: Comparing Text Representations: A Theory-Driven Approach
• Title（参考訳）: テキスト表現の比較:理論駆動アプローチ
• Authors: Gregory Yauney, David Mimno
• Abstract要約: 我々は、テキストデータセットの特定の特徴に適合するように、計算学習理論から一般的なツールを適応させる。 本稿では,表現とタスクの整合性を評価する手法を提案する。 この方法は、分類に基づくNLPタスクの難易度を校正し、定量的に測定する。
• 参考スコア（独自算出の注目度）: 2.893558866535708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Much of the progress in contemporary NLP has come from learning representations, such as masked language model (MLM) contextual embeddings, that turn challenging problems into simple classification tasks. But how do we quantify and explain this effect? We adapt general tools from computational learning theory to fit the specific characteristics of text datasets and present a method to evaluate the compatibility between representations and tasks. Even though many tasks can be easily solved with simple bag-of-words (BOW) representations, BOW does poorly on hard natural language inference tasks. For one such task we find that BOW cannot distinguish between real and randomized labelings, while pre-trained MLM representations show 72x greater distinction between real and random labelings than BOW. This method provides a calibrated, quantitative measure of the difficulty of a classification-based NLP task, enabling comparisons between representations without requiring empirical evaluations that may be sensitive to initializations and hyperparameters. The method provides a fresh perspective on the patterns in a dataset and the alignment of those patterns with specific labels.
• Abstract（参考訳）: 現代のNLPの進歩の多くは、マスキング言語モデル(MLM)の文脈埋め込みのような学習表現から来ており、課題問題を単純な分類タスクに変換する。 しかし、どのようにしてこの効果を定量化し説明するのか? 我々は,テキストデータセットの特徴に適合する計算学習理論からの一般的なツールを適応させ,表現とタスクの互換性を評価する方法を提案する。 多くのタスクは単純なback-of-words(BOW)表現で簡単に解けるが、BOWは難しい自然言語推論タスクでは不十分である。 そのようなタスクに対して、BOWは実ラベルとランダムラベルを区別できないが、事前訓練されたMLM表現は実ラベルとランダムラベルの72倍の差を示す。 この方法は、分類ベースのNLPタスクの難易度を調整し、初期化やハイパーパラメータに敏感な経験的評価を必要としない表現の比較を可能にする。 この方法は、データセット内のパターンと、それらのパターンと特定のラベルのアライメントに関する新しい視点を提供する。

関連論文リスト

• Addressing Order Sensitivity of In-Context Demonstration Examples in Causal Language Models [18.03259038587496]
  インコンテクスト学習は、インコンテクストの実例の順序に大きく影響される。 情報拡張・一貫性強化手法と呼ばれる教師なしの微調整手法を導入する。 提案手法は,文脈内サンプルの順序に対するCausalLMsの感度を低減し,堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2024-02-23T22:39:12Z)
• Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
  コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。 しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。 語彙定義意味論(vocabulary-defined semantics)を提案する。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
  本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。 そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
  論文  参考訳（メタデータ） (2023-02-16T04:06:25Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。