論文の概要: Uncertainty Determines the Adequacy of the Mode and the Tractability of Decoding in Sequence-to-Sequence Models

• arxiv url: http://arxiv.org/abs/2204.00471v1
• Date: Fri, 1 Apr 2022 14:30:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 14:48:11.226491
• Title: Uncertainty Determines the Adequacy of the Mode and the Tractability of Decoding in Sequence-to-Sequence Models
• Title（参考訳）: 不確かさはシーケンス・ツー・シーケンスモデルにおけるモードの妥当性と復号性を決定する
• Authors: Felix Stahlberg, Ilia Kulikov and Shankar Kumar
• Abstract要約: ニューラルシークエンスモデルによって学習された分布のあいまいさ(内在不確実性とも呼ばれる)がどのように形成されるかを分析する。 その結果,ビーム探索誤差の多さ,モードの不十分さ,ビームサイズが大きいシステム性能の低下など,曖昧性の高いタスクに適用できることが示唆された。
• 参考スコア（独自算出の注目度）: 11.258630552727432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many natural language processing (NLP) tasks the same input (e.g. source sentence) can have multiple possible outputs (e.g. translations). To analyze how this ambiguity (also known as intrinsic uncertainty) shapes the distribution learned by neural sequence models we measure sentence-level uncertainty by computing the degree of overlap between references in multi-reference test sets from two different NLP tasks: machine translation (MT) and grammatical error correction (GEC). At both the sentence- and the task-level, intrinsic uncertainty has major implications for various aspects of search such as the inductive biases in beam search and the complexity of exact search. In particular, we show that well-known pathologies such as a high number of beam search errors, the inadequacy of the mode, and the drop in system performance with large beam sizes apply to tasks with high level of ambiguity such as MT but not to less uncertain tasks such as GEC. Furthermore, we propose a novel exact $n$-best search algorithm for neural sequence models, and show that intrinsic uncertainty affects model uncertainty as the model tends to overly spread out the probability mass for uncertain tasks and sentences.
• Abstract（参考訳）: 多くの自然言語処理(NLP)タスクでは、同じ入力(例えば、ソース文)は複数の可能な出力(例えば、翻訳)を持つことができる。 この曖昧性(本質的不確実性)がニューラルシーケンスモデルによって学習される分布をどのように形成するかを分析するために、機械翻訳(mt)と文法的誤り訂正(gec)の2つの異なるnlpタスクからの複数参照テストセットにおける参照間の重なりの程度を計算し、文レベルの不確実性を測定する。 文レベルとタスクレベルの両方において、本質的不確かさは、ビーム探索における帰納的バイアスや正確な探索の複雑さなど、検索の様々な側面に大きな意味を持つ。 特に,ビーム探索誤差の多さ,モードの不十分さ,ビームサイズが大きいシステム性能の低下などのよく知られた病態が,MTなどの曖昧性が高いタスクに適用されるが,ECCのような不確実性の低いタスクには適用されないことを示す。 さらに, ニューラルシーケンスモデルに対する高精度なn$-best探索アルゴリズムを提案するとともに, 不確定なタスクや文の確率質量を過大に分散する傾向から, 内在的不確かさがモデル不確実性に影響を与えることを示した。

関連論文リスト

• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Towards frugal unsupervised detection of subtle abnormalities in medical imaging [0.0]
  医用画像における異常検出は、異常が注釈付けされていない状況では難しい課題である。 汎用性が広く認識されている確率分布の混合について検討する。 このオンラインアプローチは、新たに診断されたパーキンソン病患者の追跡において、MR脳スキャンの微妙な異常の検出が困難であることを示すものである。
  論文  参考訳（メタデータ） (2023-09-04T07:44:54Z)
• A Non-monotonic Self-terminating Language Model [62.93465126911921]
  本稿では,不完全復号アルゴリズムによる非終端列の問題に焦点をあてる。 まず、グリーディ探索、トップ$kのサンプリング、核サンプリングを含む不完全確率復号アルゴリズムを定義する。 次に,単調な終端確率の制約を緩和する非単調な自己終端言語モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-03T00:28:44Z)
• Marginal Inference queries in Hidden Markov Models under context-free grammar constraints [0.348097307252416]
  隠れモデル(HMM)における文脈自由文法(CFG)の可能性の計算問題に対処する。 問題は NP-Hard であり、CFG が 2 以下のあいまいさの次数を持つという約束があるにもかかわらずである。 次に,不明瞭なCFGの場合の確率を近似するために,完全ランダム化近似法を提案する。
  論文  参考訳（メタデータ） (2022-06-26T12:44:18Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)
• Acquisition-invariant brain MRI segmentation with informative uncertainties [3.46329153611365]
  ポストホックな多地点補正法は存在するが、現実のシナリオではしばしば成立しない強い仮定を持つ。 この研究は、セグメンテーションタスクの文脈において、獲得の物理学に堅牢になるようなアルゴリズムを実証している。 提案手法は, ホールドアウトデータセットの完全化, セグメンテーション品質の維持だけでなく, サイト固有のシーケンス選択も考慮しながら, 一般化できることを実証する。
  論文  参考訳（メタデータ） (2021-11-07T13:58:04Z)
• NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
  機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。 既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。 本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:39:07Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。