論文の概要: Sensitivity as a Complexity Measure for Sequence Classification Tasks

• arxiv url: http://arxiv.org/abs/2104.10343v1
• Date: Wed, 21 Apr 2021 03:56:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:32:20.220867
• Title: Sensitivity as a Complexity Measure for Sequence Classification Tasks
• Title（参考訳）: シーケンス分類タスクの複雑性尺度としての感度
• Authors: Michael Hahn, Dan Jurafsky, Richard Futrell
• Abstract要約: 標準のシーケンス分類法は低感度関数の学習に偏っているため、高感度を必要とするタスクがより困難である。 15のNLPタスクで感度を推定し、単純なテキスト分類タスクよりもGLUEで収集された挑戦的なタスクで感度が高いことを発見した。
• 参考スコア（独自算出の注目度）: 24.246784593571626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a theoretical framework for understanding and predicting the complexity of sequence classification tasks, using a novel extension of the theory of Boolean function sensitivity. The sensitivity of a function, given a distribution over input sequences, quantifies the number of disjoint subsets of the input sequence that can each be individually changed to change the output. We argue that standard sequence classification methods are biased towards learning low-sensitivity functions, so that tasks requiring high sensitivity are more difficult. To that end, we show analytically that simple lexical classifiers can only express functions of bounded sensitivity, and we show empirically that low-sensitivity functions are easier to learn for LSTMs. We then estimate sensitivity on 15 NLP tasks, finding that sensitivity is higher on challenging tasks collected in GLUE than on simple text classification tasks, and that sensitivity predicts the performance both of simple lexical classifiers and of vanilla BiLSTMs without pretrained contextualized embeddings. Within a task, sensitivity predicts which inputs are hard for such simple models. Our results suggest that the success of massively pretrained contextual representations stems in part because they provide representations from which information can be extracted by low-sensitivity decoders.
• Abstract（参考訳）: 本稿では,ブール関数感度の理論の新たな拡張を用いて,シーケンス分類タスクの複雑性の理解と予測のための理論的枠組みを提案する。 入力シーケンス上の分布が与えられた関数の感度は、それぞれを個別に変更して出力を変更することができる入力シーケンスの非結合部分集合の数を定量化する。 標準シーケンス分類法は低感度関数の学習に偏りがあるので、高い感度を必要とするタスクはより困難である。 そこで我々は,単純な語彙分類器が有界感度関数のみを表現できることを解析的に示し,低感度関数がLSTMに対して学習しやすいことを示す。 次に15のNLPタスクに対する感度を推定し、GLUEで収集した課題に対して、単純なテキスト分類タスクよりも感度が高く、プレトレーニングされた文脈埋め込みのない単純な語彙分類器とバニラBiLSTMの両方のパフォーマンスを予測する。 タスク内では、感度はそのような単純なモデルではどの入力が難しいかを予測します。 以上の結果から,事前学習されたコンテキスト表現の成功は,低感度デコーダによる情報抽出が可能な表現を提供することが一因であることが示唆された。

関連論文リスト

• ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
  ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。 我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2024-10-16T09:38:13Z)
• POSIX: A Prompt Sensitivity Index For Large Language Models [22.288479270814484]
  大型言語モデル(LLM)は驚くほど微妙なプロンプトに敏感である。 POSIXは新規なPrOmpt Sensitivity IndeXである。
  論文  参考訳（メタデータ） (2024-10-03T04:01:14Z)
• How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
  本稿では,関数の感度に基づく包括的即時解析を提案する。 出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。 本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
  論文  参考訳（メタデータ） (2023-11-13T10:52:01Z)
• RaSa: Relation and Sensitivity Aware Representation Learning for Text-based Person Search [51.09723403468361]
  関係性と感性を考慮した表現学習法(RaSa)を提案する。 RaSaにはリレーショナル・アウェア・ラーニング(RA)と感性・アウェア・ラーニング(SA)という2つの新しいタスクが含まれている。 実験によると、RaSaは既存の最先端メソッドを6.94%、4.45%、および15.35%で上回っている。
  論文  参考訳（メタデータ） (2023-05-23T03:53:57Z)
• On the Relation between Sensitivity and Accuracy in In-context Learning [41.27837171531926]
  インコンテキスト学習(ICL)はプロンプトに対する過敏性に悩まされており、現実のシナリオでは信頼性が低い。 複数の摂動型に対するICLの感度について検討した。 センシティブな予測を無視する数ショット選択予測法であるtextscSenSel を提案する。
  論文  参考訳（メタデータ） (2022-09-16T00:52:34Z)
• Learning Disentangled Textual Representations via Statistical Measures of Similarity [35.74568888409149]
  トレーニングを必要としない不整合表現を学習するための正規化器のファミリーを導入する。 我々の新しい正規化器は、追加のトレーニングを必要とせず、より速く、追加のチューニングを伴わない。
  論文  参考訳（メタデータ） (2022-05-07T08:06:22Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• SAM: The Sensitivity of Attribution Methods to Hyperparameters [13.145335512841557]
  説明手法の重要なデシプラタムは、しばしばランダムに設定または経験的に調整されるハイパーパラメータ入力の堅牢性である。 本稿では,既存属性法の感度に関する実験的検討を行った。
  論文  参考訳（メタデータ） (2020-03-04T22:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。