論文の概要: Knowledge Trees: Gradient Boosting Decision Trees on Knowledge Neurons as Probing Classifier

• arxiv url: http://arxiv.org/abs/2312.10746v1
• Date: Sun, 17 Dec 2023 15:37:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 14:47:09.453999
• Title: Knowledge Trees: Gradient Boosting Decision Trees on Knowledge Neurons as Probing Classifier
• Title（参考訳）: ナレッジツリー:グラデーションによるナレッジニューロン上の決定木を分類する
• Authors: Sergey A. Saltykov
• Abstract要約: 変圧器ニューラルネットワーク層の出力表現におけるロジスティック回帰は、言語モデルの構文特性の探索に最もよく用いられる。 本研究では, 変圧器層の出力表現におけるロジスティック回帰を用いた場合よりも, 知識ニューロン層での勾配向上決定木を用いた方が有利であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To understand how well a large language model captures certain semantic or syntactic features, researchers typically apply probing classifiers. However, the accuracy of these classifiers is critical for the correct interpretation of the results. If a probing classifier exhibits low accuracy, this may be due either to the fact that the language model does not capture the property under investigation, or to shortcomings in the classifier itself, which is unable to adequately capture the characteristics encoded in the internal representations of the model. Consequently, for more effective diagnosis, it is necessary to use the most accurate classifiers possible for a particular type of task. Logistic regression on the output representation of the transformer neural network layer is most often used to probing the syntactic properties of the language model. We show that using gradient boosting decision trees at the Knowledge Neuron layer, i.e., at the hidden layer of the feed-forward network of the transformer as a probing classifier for recognizing parts of a sentence is more advantageous than using logistic regression on the output representations of the transformer layer. This approach is also preferable to many other methods. The gain in error rate, depending on the preset, ranges from 9-54%
• Abstract（参考訳）: 大きな言語モデルが特定の意味的特徴や構文的特徴をいかにうまく捉えているかを理解するために、研究者は通常、探索型分類器を適用する。 しかし、これらの分類器の精度は、結果の正しい解釈に不可欠である。 探索分類器の精度が低ければ、言語モデルが調査中の特性を捉えていないことや、モデルの内部表現で符号化された特性を適切に捉えることができない分類器自体の欠点が原因である可能性がある。 したがって、より効果的な診断には、特定のタスクに可能な最も正確な分類器を使用する必要がある。 変圧器ニューラルネットワーク層の出力表現におけるロジスティック回帰は、言語モデルの構文特性の探索に最もよく用いられる。 本研究では,変圧器のフィードフォワードネットワークの隠された層において,知識ニューロン層における勾配向上決定木を用いて文の一部を認識することで,変圧器層の出力表現にロジスティック回帰を用いることよりも有利であることを示す。 このアプローチは他の多くの方法よりも好まれる。 エラー率の上昇は、事前設定によって9-54%まで変化する。

関連論文リスト

• Fuzzy Logic Function as a Post-hoc Explanator of the Nonlinear Classifier [0.0]
  ディープニューラルネットワークを用いて実装されたパターン認識システムは線形モデルよりも優れた結果が得られる。 しかし、その欠点はブラックボックスの特性である。 この性質は、非線形システムを利用した経験のない人は、決定の結果を理解するのに役立つかもしれないことを意味する。
  論文  参考訳（メタデータ） (2024-01-22T13:58:03Z)
• Using Artificial Neural Networks to Determine Ontologies Most Relevant to Scientific Texts [44.99833362998488]
  本稿では,人工ネットワークを用いた最も関連性の高いテキストの発見の可能性について考察する。 提案手法の基本的な考え方は、ソーステキストファイルから代表を選択し、それをベクトル空間に埋め込むことである。 我々は変換器の組込み出力、特にランダムな森林を分類するために異なる分類器を検討した。
  論文  参考訳（メタデータ） (2023-09-17T08:08:50Z)
• How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
  我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。 我々の結果は、分布シフトの下で一貫していることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T18:56:55Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
  解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。 我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
  論文  参考訳（メタデータ） (2022-11-15T15:58:56Z)
• Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction [86.15787587540132]
  語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。 本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
  論文  参考訳（メタデータ） (2022-11-13T23:59:11Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• On the rate of convergence of a classifier based on a Transformer encoder [55.41148606254641]
  最適誤分類確率に対する分類器の誤分類確率の収束率を分析する。 この分類器は,アポテリオリ確率が適切な階層的構成モデルを満たす場合,次元性の呪いを回避することができる。
  論文  参考訳（メタデータ） (2021-11-29T14:58:29Z)
• Understanding invariance via feedforward inversion of discriminatively trained classifiers [30.23199531528357]
  過去の研究では、出力ログに余計な視覚的詳細が残っていることが判明した。 極めて高い忠実度を再現するフィードフォワードインバージョンモデルを開発する。 私たちのアプローチはBigGANをベースにしており、1ホットクラスのラベルの代わりにロジットのコンディショニングを行います。
  論文  参考訳（メタデータ） (2021-03-15T17:56:06Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。