論文の概要: An information theoretic view on selecting linguistic probes

• arxiv url: http://arxiv.org/abs/2009.07364v2
• Date: Thu, 17 Sep 2020 14:50:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 06:17:02.610833
• Title: An information theoretic view on selecting linguistic probes
• Title（参考訳）: 言語プローブ選択に関する情報論的考察
• Authors: Zining Zhu, Frank Rudzicz
• Abstract要約: 一般的なアプローチは、内部表現から教師付き分類を行うために診断分類器(probe)をアタッチすることである。 優れたプローブの選択方法が議論されている。Hewitt氏とLiang氏は、診断分類自体のパフォーマンスが不十分であることを示した。 これが有効な情報二分法であることを示す。
• 参考スコア（独自算出の注目度）: 20.199203311085505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is increasing interest in assessing the linguistic knowledge encoded in neural representations. A popular approach is to attach a diagnostic classifier -- or "probe" -- to perform supervised classification from internal representations. However, how to select a good probe is in debate. Hewitt and Liang (2019) showed that a high performance on diagnostic classification itself is insufficient, because it can be attributed to either "the representation being rich in knowledge", or "the probe learning the task", which Pimentel et al. (2020) challenged. We show this dichotomy is valid information-theoretically. In addition, we find that the methods to construct and select good probes proposed by the two papers, *control task* (Hewitt and Liang, 2019) and *control function* (Pimentel et al., 2020), are equivalent -- the errors of their approaches are identical (modulo irrelevant terms). Empirically, these two selection criteria lead to results that highly agree with each other.
• Abstract（参考訳）: 神経表現にエンコードされた言語知識の評価に関心が高まっている。 一般的なアプローチは、内部表現から教師付き分類を行うために診断分類器(probe)をアタッチすることである。 しかし、良いプローブを選ぶ方法が議論されている。 hewitt and liang (2019) は、"知識に富む表現" か、pimentelら (2020) が挑戦した"タスクを学習するプローブ"("the probe learning the task")によって引き起こされるため、診断分類自体における高いパフォーマンスが不十分であることを示した。 この二分法が有効な情報理論であることを示す。 さらに,2つの論文において提案された良好なプローブの構成と選択を行う手法として,*control task* (Hewitt and Liang, 2019) と *control function* (Pimentel et al., 2020) が等価であることがわかった。 経験的に、これらの2つの選択基準は互いに強く同意する結果をもたらす。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Knowledge Trees: Gradient Boosting Decision Trees on Knowledge Neurons as Probing Classifier [0.0]
  変圧器ニューラルネットワーク層の出力表現におけるロジスティック回帰は、言語モデルの構文特性の探索に最もよく用いられる。 本研究では, 変圧器層の出力表現におけるロジスティック回帰を用いた場合よりも, 知識ニューロン層での勾配向上決定木を用いた方が有利であることを示す。
  論文  参考訳（メタデータ） (2023-12-17T15:37:03Z)
• Is Probing All You Need? Indicator Tasks as an Alternative to Probing Embedding Spaces [19.4968960182412]
  本研究では, 学習不能なタスクに対して, 特定の特性が存在する場合の埋め込み空間を問合せする「指示タスク」という用語を導入する。 適切な指標を適用すれば、プローブと比較して、取得・削除された情報のより正確な画像が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-24T15:08:12Z)
• UU-Tax at SemEval-2022 Task 3: Improving the generalizability of language models for taxonomy classification through data augmentation [0.0]
  本稿では,SemEval-2022 Task 3 PreTENS: Presuposed Taxonomies Evaluation Neural Network Semanticsについて述べる。 タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。 より優れた分類のための言語モデルの堅牢性と一般化性を高める効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T07:41:28Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• New Intent Discovery with Pre-training and Contrastive Learning [21.25371293641141]
  新しい意図発見は、ユーザ発話から新しい意図カテゴリーを明らかにして、サポート対象クラスのセットを拡張することを目的としている。 既存のアプローチは通常、大量のラベル付き発話に依存する。 本稿では,クラスタリングのためのラベルなしデータにおける自己超越的信号を活用するために,新たなコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:07:25Z)
• Multi-class versus One-class classifier in spontaneous speech analysis oriented to Alzheimer Disease diagnosis [58.720142291102135]
  本研究の目的は,音声信号から抽出した新しいバイオマーカーを用いて自動解析を行うことにより,ADの早期診断と重症度評価の改善に寄与することである。 外付け器とフラクタル次元の機能に関する情報を使用することで、システムの性能が向上する。
  論文  参考訳（メタデータ） (2022-03-21T09:57:20Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
  学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。 新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。 ARTデータセットの実験は、公開リーダボードの最先端に到達します。
  論文  参考訳（メタデータ） (2020-05-22T15:01:23Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。