論文の概要: Maximum Spanning Trees Are Invariant to Temperature Scaling in Graph-based Dependency Parsing

• arxiv url: http://arxiv.org/abs/2106.08159v1
• Date: Tue, 15 Jun 2021 13:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:16:02.225039
• Title: Maximum Spanning Trees Are Invariant to Temperature Scaling in Graph-based Dependency Parsing
• Title（参考訳）: グラフベース依存構文解析における最大スパンディングツリーは温度スケーリングに不変である
• Authors: Stefan Gr\"unewald
• Abstract要約: 現代のグラフベースの構文依存は、文内の各トークンに対して、その可能な構文ヘッド上の確率分布を予測することによって機能する。 ニューラルネットワークのポストホックキャリブレーションの一般的な手法である温度スケーリングは、解析手順の出力を変えることができないことを実証する。 我々は,グラフ依存の誤校正に対処するためには,他の手法が必要であると結論付けた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern graph-based syntactic dependency parsers operate by predicting, for each token within a sentence, a probability distribution over its possible syntactic heads (i.e., all other tokens) and then extracting a maximum spanning tree from the resulting log-probabilities. Nowadays, virtually all such parsers utilize deep neural networks and may thus be susceptible to miscalibration (in particular, overconfident predictions). In this paper, we prove that temperature scaling, a popular technique for post-hoc calibration of neural networks, cannot change the output of the aforementioned procedure. We conclude that other techniques are needed to tackle miscalibration in graph-based dependency parsers in a way that improves parsing accuracy.
• Abstract（参考訳）: 現代のグラフベースの構文依存構文解析器は、文内の各トークンに対して、その可能な構文ヘッド(すなわち、他のすべてのトークン)上の確率分布を予測し、結果のログ確率から最大スパンディングツリーを抽出することで動作する。 今日、事実上全てのそのようなパーサーはディープニューラルネットワークを使用しており、誤解(特に自信過剰な予測)の影響を受けやすい。 本稿では,ニューラルネットワークの保温後校正手法である温度スケーリングが,上記の手順の出力を変化させることができないことを示す。 解析精度を向上させるために,グラフベースの依存パーサの誤校正に対処するためには,他の手法が必要であると結論付けている。

関連論文リスト

• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Neural-Symbolic Inference for Robust Autoregressive Graph Parsing via Compositional Uncertainty Quantification [28.084115398817016]
  モデル信頼度から得られるニューラルシンボリック推論に対する構成性を考慮したアプローチについて検討する。 我々は,標準内ドメインと7つのOOD文法の多種多様なスイートにおける英語資源解析問題(ERG)のアプローチを実証的に検討した。 提案手法は, ニューラルネットワークおよび記号的アプローチに対して, 集約されたSグラマースコアの35.26%と35.60%の誤差を減少させ, ニューラルモデル上でのキーテール言語カテゴリーにおいて, 14%の絶対精度向上をもたらす。
  論文  参考訳（メタデータ） (2023-01-26T23:11:03Z)
• Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation [77.81487285123147]
  グラフの各ノードを、ほぼリアルタイムで同期して観測されるデータストリームを生成するようにします。 変更ポイント$tau$では、変更はノードのサブセット$C$で発生し、関連するノードストリームの確率分布に影響を与える。 本稿では,ポストチェンジとノードストリームの事前変更分布の確率比の直接推定に基づいて,$tau$を検出して$C$をローカライズするカーネルベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-01-08T10:15:24Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Scaling Up Graph Neural Networks Via Graph Coarsening [18.176326897605225]
  グラフニューラルネットワーク(GNN)のスケーラビリティは、マシンラーニングにおける大きな課題のひとつだ。 本稿では,GNNのスケーラブルなトレーニングにグラフ粗大化を用いることを提案する。 既成の粗大化法を単純に適用すれば,分類精度を著しく低下させることなく,ノード数を最大10倍に削減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T15:46:17Z)
• Multivariate Boosted Trees and Applications to Forecasting and Control [0.0]
  勾配強化木は、特定の損失関数を最小限に抑えるために、逐次モデルフィッティングと勾配降下を利用する非パラメトリック回帰木である。 本稿では,多変量隆起木を適応する計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-08T19:26:59Z)
• Residual Correlation in Graph Neural Network Regression [39.54530450932135]
  我々は条件付き独立仮定が予測力を著しく制限していることを示します。 この問題を解釈可能かつ効率的なフレームワークで解決する。 我々のフレームワークは、競合するベースラインよりもかなり高い精度を実現している。
  論文  参考訳（メタデータ） (2020-02-19T16:32:54Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。