論文の概要: Rethinking the Construction of Effective Metrics for Understanding the
Mechanisms of Pretrained Language Models
- arxiv url: http://arxiv.org/abs/2310.12454v1
- Date: Thu, 19 Oct 2023 04:16:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 16:54:45.956590
- Title: Rethinking the Construction of Effective Metrics for Understanding the
Mechanisms of Pretrained Language Models
- Title（参考訳）: 事前学習言語モデルのメカニズム理解のための効果的なメトリクス構築の再考
- Authors: You Li, Jinhui Yin and Yuming Lin
- Abstract要約: 本稿では,事前学習された言語モデルのメカニズムを理解するためのメトリクスを構築するための新しいラインを提案する。
実験結果に基づいて,BERT型事前学習言語モデルの動作機構に関する憶測を提案する。
- 参考スコア（独自算出の注目度）: 2.5863812709449543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained language models are expected to effectively map input text to a
set of vectors while preserving the inherent relationships within the text.
Consequently, designing a white-box model to compute metrics that reflect the
presence of specific internal relations in these vectors has become a common
approach for post-hoc interpretability analysis of pretrained language models.
However, achieving interpretability in white-box models and ensuring the rigor
of metric computation becomes challenging when the source model lacks inherent
interpretability. Therefore, in this paper, we discuss striking a balance in
this trade-off and propose a novel line to constructing metrics for
understanding the mechanisms of pretrained language models. We have
specifically designed a family of metrics along this line of investigation, and
the model used to compute these metrics is referred to as the tree topological
probe. We conducted measurements on BERT-large by using these metrics. Based on
the experimental results, we propose a speculation regarding the working
mechanism of BERT-like pretrained language models, as well as a strategy for
enhancing fine-tuning performance by leveraging the topological probe to
improve specific submodules.
- Abstract（参考訳）: 事前学習された言語モデルは、テキスト内の固有の関係を維持しながら、入力テキストをベクタの集合に効果的にマッピングすることが期待される。
その結果、これらのベクトルに特定の内部関係が存在することを反映したメトリクスを計算するためのホワイトボックスモデルの設計が、事前訓練された言語モデルのポストホック解釈可能性分析の一般的なアプローチとなった。
しかしながら、ホワイトボックスモデルにおける解釈可能性の実現と計量計算の厳密さの確保は、ソースモデルに固有の解釈可能性がない場合に困難となる。
そこで本稿では,このトレードオフのバランスを打つことについて議論し,事前学習された言語モデルのメカニズムを理解するための指標を構築するための新しいラインを提案する。
筆者らは,この調査線に沿った指標群を特に設計し,これらの指標を計算するために使用されるモデルを木トポロジカルプローブと呼ぶ。
これらの測定値を用いてBERT-largeの測定を行った。
実験結果に基づき, bert型事前学習言語モデルの動作機構に関する推測と, トポロジカルプローブを利用して特定のサブモジュールを改善することにより, 微調整性能を向上させる戦略を提案する。
関連論文リスト
- Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳（メタデータ） (2023-08-07T18:50:57Z) - A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文 参考訳（メタデータ） (2023-05-24T11:43:47Z) - Constructing Word-Context-Coupled Space Aligned with Associative
Knowledge Relations for Interpretable Language Modeling [0.0]
事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。
解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。
我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
論文 参考訳（メタデータ） (2023-05-19T09:26:02Z) - Token-wise Decomposition of Autoregressive Language Model Hidden States
for Analyzing Model Predictions [9.909170013118775]
本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。
次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
論文 参考訳（メタデータ） (2023-05-17T23:55:32Z) - Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。
出力予測が大幅に変化する特徴を最適化する。
本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T14:48:27Z) - Testing Pre-trained Language Models' Understanding of Distributivity via
Causal Mediation Analysis [13.07356367140208]
自然言語推論のための新しい診断データセットであるDistNLIを紹介する。
モデルの理解の範囲は、モデルのサイズと語彙のサイズと関連していることがわかった。
論文 参考訳（メタデータ） (2022-09-11T00:33:28Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Tracing Origins: Coref-aware Machine Reading Comprehension [43.352833140317486]
そこで,本研究では,アナフォリック表現を接続する際の人間の読影過程を模倣し,コア参照情報を活用し,事前学習モデルから単語の埋め込みを強化する。
学習段階におけるコア参照情報の明示的な組み込みは,事前学習言語モデルの訓練において,コア参照情報の組み込みよりも優れていたことを実証した。
論文 参考訳（メタデータ） (2021-10-15T09:28:35Z) - Instance-Based Neural Dependency Parsing [56.63500180843504]
依存関係解析のための解釈可能な推論プロセスを持つニューラルモデルを開発する。
私たちのモデルはインスタンスベースの推論を採用しており、トレーニングセットのエッジと比較することで、依存関係のエッジを抽出し、ラベル付けします。
論文 参考訳（メタデータ） (2021-09-28T05:30:52Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳（メタデータ） (2021-07-22T20:52:26Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。