論文の概要: Conditional probing: measuring usable information beyond a baseline

• arxiv url: http://arxiv.org/abs/2109.09234v1
• Date: Sun, 19 Sep 2021 21:56:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-21 16:37:13.354114
• Title: Conditional probing: measuring usable information beyond a baseline
• Title（参考訳）: 条件探索:ベースラインを超えて有用な情報を測定する
• Authors: John Hewitt, Kawin Ethayarajh, Percy Liang, Christopher D. Manning
• Abstract要約: ある表現が、その表現がベースライン表現を探索するよりも高い精度を生成する場合、その表現がプロパティを符号化することを示唆する。 本稿では,ベースライン内の情報に対して明示的に条件を定め,条件付き探索を提案する。 ケーススタディでは、非文脈単語埋め込みを条件付けした後、部分音声のような特性がネットワークの深い層でアクセス可能であることが判明した。
• 参考スコア（独自算出の注目度）: 103.93673427217527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probing experiments investigate the extent to which neural representations make properties -- like part-of-speech -- predictable. One suggests that a representation encodes a property if probing that representation produces higher accuracy than probing a baseline representation like non-contextual word embeddings. Instead of using baselines as a point of comparison, we're interested in measuring information that is contained in the representation but not in the baseline. For example, current methods can detect when a representation is more useful than the word identity (a baseline) for predicting part-of-speech; however, they cannot detect when the representation is predictive of just the aspects of part-of-speech not explainable by the word identity. In this work, we extend a theory of usable information called $\mathcal{V}$-information and propose conditional probing, which explicitly conditions on the information in the baseline. In a case study, we find that after conditioning on non-contextual word embeddings, properties like part-of-speech are accessible at deeper layers of a network than previously thought.
• Abstract（参考訳）: 探索実験は、ニューラル表現が(音声の一部のような)特性を予測できる範囲を調査する。 表現がプロパティを符号化すると、その表現が非テクスチュアルな単語埋め込みのようなベースライン表現を探索するよりも精度が高いことを示唆する。 比較ポイントとしてベースラインを使用する代わりに、私たちは、ベースラインではなく、表現に含まれる情報を測定することに興味を持っています。 例えば、現在の方法では、表現が音声の一部を予測するために単語識別(ベースライン)よりも有用である場合を検出することができるが、表現が単語識別で説明できない部分の側面だけを予測している場合には検出できない。 本研究では,$\mathcal{v}$-information と呼ばれる利用可能な情報の理論を拡張し,条件付き探索を提案する。 ケーススタディでは,非テクスチュアルな単語埋め込みを条件付けした後,従来考えられていたよりも深いネットワーク層において,部分音声のような特性がアクセス可能であることがわかった。

関連論文リスト

• Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
  話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。 階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-21T14:42:37Z)
• Analyzing Text Representations by Measuring Task Alignment [2.198430261120653]
  階層的クラスタリングに基づくタスクアライメントスコアを構築し,異なるレベルの粒度でアライメントを測定する。 テキスト分類実験は、タスクアライメントが与えられた表現の分類性能を説明することができることを示すことによって、我々の仮説を検証する。
  論文  参考訳（メタデータ） (2023-05-31T11:20:48Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• Saliency Map Verbalization: Comparing Feature Importance Representations from Model-free and Instruction-based Methods [6.018950511093273]
  サージェンシマップは、重要な入力特徴を特定することによって、ニューラルネットワークの予測を説明することができる。 我々は,サリエンシマップを自然言語に翻訳する未調査課題を定式化する。 本研究では,従来の特徴強調表現と比較した2つの新手法(検索ベースおよび命令ベース言語化)を比較した。
  論文  参考訳（メタデータ） (2022-10-13T17:48:15Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Measuring Memorization Effect in Word-Level Neural Networks Probing [0.9156064716689833]
  そこで,本研究では,学習における目に見える単語と見えない単語の対称選択に基づいて,記憶効果を簡易に測定する手法を提案する。 提案手法は, 探索装置で発生した記憶量の定量化に有効であり, 適切な設定が選択可能であり, 検証結果が信頼性推定値で解釈可能である。
  論文  参考訳（メタデータ） (2020-06-29T14:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。