論文の概要: Revising with a Backward Glance: Regressions and Skips during Reading as Cognitive Signals for Revision Policies in Incremental Processing

• arxiv url: http://arxiv.org/abs/2310.18229v1
• Date: Fri, 27 Oct 2023 16:08:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 13:22:01.936201
• Title: Revising with a Backward Glance: Regressions and Skips during Reading as Cognitive Signals for Revision Policies in Incremental Processing
• Title（参考訳）: 逆見による修正:漸進処理における修正方針の認知信号としての読み中の回帰とスキップ
• Authors: Brielen Madureira, Pelin \c{C}elikkol, David Schlangen
• Abstract要約: NLPでは、インクリメンタルプロセッサが言語入力の入力プレフィックスに基づいてインストール時に出力を生成する。 いくつかのトークンはリビジョンを引き起こし、アウトプット仮説に編集を引き起こすが、なぜモデルがリビジョンを行うのかは分かっていない。 逐次的シーケンスラベリングにおけるリフレクションポリシーを通知する信号として、人間の視線追跡データにおける回帰とスキップの妥当性について検討する。
• 参考スコア（独自算出の注目度）: 19.812562421377706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In NLP, incremental processors produce output in instalments, based on incoming prefixes of the linguistic input. Some tokens trigger revisions, causing edits to the output hypothesis, but little is known about why models revise when they revise. A policy that detects the time steps where revisions should happen can improve efficiency. Still, retrieving a suitable signal to train a revision policy is an open problem, since it is not naturally available in datasets. In this work, we investigate the appropriateness of regressions and skips in human reading eye-tracking data as signals to inform revision policies in incremental sequence labelling. Using generalised mixed-effects models, we find that the probability of regressions and skips by humans can potentially serve as useful predictors for revisions in BiLSTMs and Transformer models, with consistent results for various languages.
• Abstract（参考訳）: NLPでは、インクリメンタルプロセッサが言語入力の入力プレフィックスに基づいてインストール時に出力を生成する。 いくつかのトークンはリビジョンを引き起こし、アウトプット仮説に編集を引き起こすが、なぜモデルがリビジョンを行うのかは分かっていない。 修正が行われるべき時間ステップを検出するポリシーは、効率を向上する。 それでも、リビジョンポリシをトレーニングする適切なシグナルを取得することは、データセットで自然に利用できないため、オープンな問題である。 本研究では,人間の視線追跡データをインクリメンタル・シーケンスラベリングにおける修正方針を知らせる信号として,回帰とスキップの適切性について検討する。 一般化された混合効果モデルを用いて、人間による回帰やスキップの確率は、様々な言語に対して一貫した結果をもたらすBiLSTMやTransformerモデルの修正に有用な予測因子となる可能性がある。

関連論文リスト

• The Road to Quality is Paved with Good Revisions: A Detailed Evaluation Methodology for Revision Policies in Incremental Sequence Labelling [14.846377138993645]
  インクリメンタルなシーケンスラベリングで形式化し、編集し、修正する。 本稿では,トランスフォーマーをベースとした3つのエンコーダのインクリメンタルな動作を様々なタスクで表わす手法を提案する。
  論文  参考訳（メタデータ） (2023-07-28T12:08:15Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Ensemble Conformalized Quantile Regression for Probabilistic Time Series Forecasting [4.716034416800441]
  本稿では,アンサンブル共形量子化回帰(EnCQR)と呼ばれる新しい確率予測手法を提案する。 EnCQRは、分布のないほぼ妥当な予測間隔(PI)を構築し、非定常およびヘテロセダスティック時系列データに適しており、任意の予測モデルの上に適用することができる。 その結果、EnCQRは量子レグレッションやコンフォメーション予測のみに基づくモデルよりも優れており、よりシャープで、より情報的で、有効なPIを提供することが示された。
  論文  参考訳（メタデータ） (2022-02-17T16:54:20Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Learning the Relation between Code Features and Code Transforms with Structured Prediction [13.62633524166298]
  条件付きランダムフィールド(CRF)を用いたASTノードのレベルでのコード変換を構造的に予測する最初の手法を提案する。 このアプローチはまず、特定のASTノードに特定のコード変換がどのように適用されるかをキャプチャする確率モデルをオフラインで学習し、次に学習したモデルを使用して、任意の新しい、目に見えないコードスニペットの変換を予測する。
  論文  参考訳（メタデータ） (2019-07-22T12:42:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。