論文の概要: Is Probing All You Need? Indicator Tasks as an Alternative to Probing Embedding Spaces

• arxiv url: http://arxiv.org/abs/2310.15905v1
• Date: Tue, 24 Oct 2023 15:08:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 18:07:05.476358
• Title: Is Probing All You Need? Indicator Tasks as an Alternative to Probing Embedding Spaces
• Title（参考訳）: 必要なものは全部探すか? 埋め込み空間の探索に代わるインジケータタスク
• Authors: Tal Levy, Omer Goldman and Reut Tsarfaty
• Abstract要約: 本研究では, 学習不能なタスクに対して, 特定の特性が存在する場合の埋め込み空間を問合せする「指示タスク」という用語を導入する。 適切な指標を適用すれば、プローブと比較して、取得・削除された情報のより正確な画像が得られることを示す。
• 参考スコア（独自算出の注目度）: 19.4968960182412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to identify and control different kinds of linguistic information encoded in vector representations of words has many use cases, especially for explainability and bias removal. This is usually done via a set of simple classification tasks, termed probes, to evaluate the information encoded in the embedding space. However, the involvement of a trainable classifier leads to entanglement between the probe's results and the classifier's nature. As a result, contemporary works on probing include tasks that do not involve training of auxiliary models. In this work we introduce the term indicator tasks for non-trainable tasks which are used to query embedding spaces for the existence of certain properties, and claim that this kind of tasks may point to a direction opposite to probes, and that this contradiction complicates the decision on whether a property exists in an embedding space. We demonstrate our claims with two test cases, one dealing with gender debiasing and another with the erasure of morphological information from embedding spaces. We show that the application of a suitable indicator provides a more accurate picture of the information captured and removed compared to probes. We thus conclude that indicator tasks should be implemented and taken into consideration when eliciting information from embedded representations.
• Abstract（参考訳）: 単語のベクトル表現に符号化された様々な言語情報を識別し、制御する能力は、特に説明可能性やバイアス除去のために多くのユースケースを持つ。 これは通常、埋め込み空間に符号化された情報を評価するために、プローブと呼ばれる一連の単純な分類タスクによって行われる。 しかし、訓練可能な分類器の関与は、プローブの結果と分類器の性質の間の絡み合いにつながる。 その結果、現代の調査作業には補助モデルの訓練を含まないタスクが含まれている。 本研究では,ある特性の存在を問合せするための埋め込み空間を問合せするために用いられる非訓練タスクの指示タスクという用語を導入し,このようなタスクがプローブとは反対の方向を指している可能性を示し,この矛盾は埋め込み空間に特性が存在するか否かの決定を複雑化する。 実験では, 男女の偏差を扱い, 埋込み空間から形態的情報を消去する2つのテストケースを用いてクレームを実証した。 適切なインジケータの適用により,プローブに対して捕獲・削除された情報のより正確な画像が得られることを示す。 そこで我々は,組込み表現から情報を引き出す際に,インジケータタスクを実装し,考慮すべきであると結論付けた。

関連論文リスト

• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
  本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。 擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。 ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
  論文  参考訳（メタデータ） (2023-03-27T07:46:58Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Exploiting a Zoo of Checkpoints for Unseen Tasks [29.309248850221373]
  タスクの空間をガウス過程としてモデル化する。 最大相互情報基準により代表チェックポイントを識別できる。 greedyメソッドは、タスク空間を"カバー"する可能性のある代表者を特定する。
  論文  参考訳（メタデータ） (2021-11-05T17:27:22Z)
• DirectProbe: Studying Representations without Classifiers [21.23284793831221]
  DirectProbeは、タスクのバージョン空間の概念に基づいて表現の幾何学を研究します。 いくつかの言語的タスクと文脈的埋め込みの実験は、訓練された分類器がなくても、DirectProbeは埋め込み空間がラベルの表現方法に光を当てることができることを示している。
  論文  参考訳（メタデータ） (2021-04-13T02:40:26Z)
• Exploring the Role of BERT Token Representations to Explain Sentence Probing Results [15.652077779677091]
  BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。 これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
  論文  参考訳（メタデータ） (2021-04-03T20:40:42Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation [82.96358326053115]
  構造設計選択に対する探索作業結果の感度について検討する。 我々は、英語で識別する「安定な領域」にある設計選択を多言語で構成した埋め込みを探索する。 私たちは英語の結果が他の言語に移行しないことに気付きます。
  論文  参考訳（メタデータ） (2020-06-16T12:37:50Z)
• Semi-supervised lung nodule retrieval [2.055949720959582]
  コンテンツベース画像検索(CBIR)システムは、クエリ画像と類似度でランク付けされた一連の画像を出力する。 データセット要素間の類似性(例えばnodules間の類似性)に関する基礎的な真実は、容易には利用できない。 本研究は,(1)部分ラベル付きデータセットの自動アノテーション,(2)述語アノテーションに基づく意味的類似度距離空間の学習,という2つのステップを含む半教師付きアプローチを提案する。 LIDCデータセットを用いて肺結節検索を行い,予測された評価値から埋め込みを学習することが可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-04T19:26:14Z)
• Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance? [27.64235687067883]
  モデルが訓練されたタスクに必要のないモデルでも,言語特性の符号化を学習できることが示される。 ランダムノイズとしてデータに分散しても,これらの特性を確率レベルよりかなり上まで符号化できることを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:19:20Z)
• Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection [51.041763676948705]
  Iterative Null-space Projection (INLP) は神経表現から情報を取り除く新しい方法である。 提案手法は,単語埋め込みにおけるバイアスを軽減するとともに,複数クラス分類の設定において公平性を高めることができることを示す。
  論文  参考訳（メタデータ） (2020-04-16T14:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。