論文の概要: Reconstruction Probing

• arxiv url: http://arxiv.org/abs/2212.10792v1
• Date: Wed, 21 Dec 2022 06:22:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 14:46:54.776413
• Title: Reconstruction Probing
• Title（参考訳）: 再建調査
• Authors: Najoung Kim, Jatin Khilnani, Alex Warstadt, Abed Qaddoumi
• Abstract要約: マスク付き言語モデルにおける再構成確率に基づく文脈表現の新しい解析手法を提案する。 トークンに近いトークンの文脈化は、線形および構文的距離で再構成される。 我々は、文脈化表現のより微細な分解に分析を拡張し、これらのブーストは入力層における静的および位置埋め込みに起因することが判明した。
• 参考スコア（独自算出の注目度）: 7.647452554776166
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose reconstruction probing, a new analysis method for contextualized representations based on reconstruction probabilities in masked language models (MLMs). This method relies on comparing the reconstruction probabilities of tokens in a given sequence when conditioned on the representation of a single token that has been fully contextualized and when conditioned on only the decontextualized lexical prior of the model. This comparison can be understood as quantifying the contribution of contextualization towards reconstruction -- the difference in the reconstruction probabilities can only be attributed to the representational change of the single token induced by contextualization. We apply this analysis to three MLMs and find that contextualization boosts reconstructability of tokens that are close to the token being reconstructed in terms of linear and syntactic distance. Furthermore, we extend our analysis to finer-grained decomposition of contextualized representations, and we find that these boosts are largely attributable to static and positional embeddings at the input layer.
• Abstract（参考訳）: マスク付き言語モデル(MLM)における再構成確率に基づく文脈表現の新しい解析手法である再構成探索を提案する。 この方法は、完全に文脈化されている単一トークンの表現に条件付けされた場合、モデルの非文脈化語彙のみに条件付けされた場合、与えられたシーケンスにおけるトークンの再構成確率を比較することに依存する。 この比較は、再構成に対する文脈化の寄与の定量化として理解することができる - 再構成確率の違いは、文脈化によって引き起こされる単一トークンの表現的変化にのみ寄与する。 この分析を3つのMLMに適用し、文脈化は、線形および構文的距離で再構成されるトークンに近いトークンの再構成可能性を高めることを発見した。 さらに,この解析を文脈化表現のよりきめ細かい分解に拡張し,これらは入力層における静的および位置埋め込みに大きく寄与することがわかった。

関連論文リスト

• How much do contextualized representations encode long-range context? [10.188367784207049]
  我々は、数千のトークンにまたがる長距離コンテキストを強調し、ニューラルネットワークの自己回帰言語モデルにおける文脈表現を分析する。 提案手法では,表現幾何学の観点から長距離パターンの文脈化の度合いを捉えるために,摂動セットアップと計量エンファンソトロピー・キャリブレーション・コサイン類似度を用いている。
  論文  参考訳（メタデータ） (2024-10-16T06:49:54Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Representing and Computing Uncertainty in Phonological Reconstruction [5.284425534494986]
  歴史的言語学では本質的にファジィな再現性にもかかわらず、多くの学者は原型の提案において不確かさを表現していない。 本稿では,言語再建における不確実性の表現を可能にする新しい枠組みを提案するとともに,言語データからファジィ再構成を計算するためのワークフローも提供する。
  論文  参考訳（メタデータ） (2023-10-19T13:27:42Z)
• From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication [19.336940758147442]
  異なるニューラルネットワークによって学習された表現は、モデルが同様の誘導バイアスの下で訓練されたときに構造的類似性を隠蔽することが観察されている。 我々は,不変成分の積空間を潜在表現の上に構築し,その表現に不変量の集合を直接組み込む汎用的手法を導入する。 我々は,ゼロショット縫合設定において,一貫した遅延類似性および下流性能向上を観察し,分類および再構成タスクに対するソリューションの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-02T13:55:38Z)
• A Mechanism for Sample-Efficient In-Context Learning for Sparse Retrieval Tasks [29.764014766305174]
  事前学習プロセスと下流タスクに対して,適切な仮定でトランスフォーマーモデルがICLを実行可能であることを示す。 本手法は, トランス機構を用いて実装可能であることを確認した。
  論文  参考訳（メタデータ） (2023-05-26T15:49:43Z)
• Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
  ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。 その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。 音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
  論文  参考訳（メタデータ） (2022-07-21T14:00:52Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation [66.85202434812942]
  セグメンテーションを意味的再構成問題として再検討する。 基本クラスの特徴を,新しいクラス再構築のためのクラスレベルのセマンティック空間にまたがる一連の基底ベクトルに変換する。 提案手法はアンチエイリアス・セマンティック・リストラクション (ASR) と呼ばれ, 数発の学習問題に対して, 体系的かつ解釈可能な解法を提供する。
  論文  参考訳（メタデータ） (2021-06-01T02:17:36Z)
• Towards a Theoretical Understanding of the Robustness of Variational Autoencoders [82.68133908421792]
  敵攻撃や他の入力摂動に対する変分オートエンコーダ(VAE)の堅牢性を理解するために,我々は進出している。 確率モデルにおけるロバスト性のための新しい基準である$r$-robustnessを開発する。 遠心法を用いて訓練したVAEが、ロバストネスの指標でよく評価されていることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。