論文の概要: Sigmoid Head for Quality Estimation under Language Ambiguity

• arxiv url: http://arxiv.org/abs/2601.00680v1
• Date: Fri, 02 Jan 2026 13:12:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.574646
• Title: Sigmoid Head for Quality Estimation under Language Ambiguity
• Title（参考訳）: Sigmoid Head for Quality Estimation under Language Ambiguity (特集 Sigmoid Head)
• Authors: Tu Anh Dinh, Jan Niehues,
• Abstract要約: 言語モデル(LM)確率は、自然言語があいまいであるため、信頼性の高い品質推定器ではない。 本稿では,これらの制約に対処するために,事前学習したLM上で品質評価を行うモジュールのトレーニングを提案する。 私たちのSigmoid Headは、トレーニングと推論の間、計算的に効率的です。
• 参考スコア（独自算出の注目度）: 16.241295606358847
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Language model (LM) probability is not a reliable quality estimator, as natural language is ambiguous. When multiple output options are valid, the model's probability distribution is spread across them, which can misleadingly indicate low output quality. This issue is caused by two reasons: (1) LMs' final output activation is softmax, which does not allow multiple correct options to receive high probabilities simultaneuously and (2) LMs' training data is single, one-hot encoded references, indicating that there is only one correct option at each output step. We propose training a module for Quality Estimation on top of pre-trained LMs to address these limitations. The module, called Sigmoid Head, is an extra unembedding head with sigmoid activation to tackle the first limitation. To tackle the second limitation, during the negative sampling process to train the Sigmoid Head, we use a heuristic to avoid selecting potentially alternative correct tokens. Our Sigmoid Head is computationally efficient during training and inference. The probability from Sigmoid Head is notably better quality signal compared to the original softmax head. As the Sigmoid Head does not rely on human-annotated quality data, it is more robust to out-of-domain settings compared to supervised QE.
• Abstract（参考訳）: 言語モデル(LM)確率は、自然言語があいまいであるため、信頼性の高い品質推定器ではない。 複数の出力オプションが有効であれば、モデルの確率分布が分散し、誤って低い出力品質を示す。 この問題は、(1)LMの最終的な出力アクティベーションがソフトマックスであり、複数の正しいオプションを同時に高い確率で受け取ることができず、(2)LMのトレーニングデータが単一で、1ホットエンコードされた参照であり、各出力ステップに1つの正しいオプションしか存在しないことを示す。 本稿では,これらの制約に対処するために,事前学習したLM上で品質評価を行うモジュールのトレーニングを提案する。 モジュールはSigmoid Headと呼ばれ、最初の制限に対処するためにSigmoidのアクティベーションを持つ追加のアンエンベディングヘッドである。 第2の制限に対処するために、シグモイドヘッドをトレーニングする負のサンプリングプロセスの間、我々は、潜在的に代替的な正しいトークンを選択することを避けるためにヒューリスティックを使用する。 私たちのSigmoid Headは、トレーニングと推論の間、計算的に効率的です。 ジグモイドヘッドからの確率は、元のソフトマックスヘッドよりも明らかに高品質な信号である。 Sigmoid Headは人間の注釈付き品質データに依存しないので、教師付きQEよりもドメイン外設定の方が堅牢である。

関連論文リスト

• Fuzzwise: Intelligent Initial Corpus Generation for Fuzzing [14.734454356396157]
  突然変異ベースのグレーボックスファジングでは、初期コーパスのための高品質な入力シードを生成することが不可欠である。 FuzzyWiseは、大きなコーパスを生成し、その後最小化するために、別々のフェーズを統合する。 FuzzyWiseは高いコードカバレッジを実現し、ベースラインと比較してランタイムエラーを発生させる。
  論文  参考訳（メタデータ） (2025-12-24T22:17:29Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Are Generative Models Underconfident? Better Quality Estimation with Boosted Model Probability [16.241295606358847]
  テキスト生成モデルの出力確率は不確実であることを示す。 我々はBoostedProbと呼ばれるQEアプローチを提案し、モデルの信頼性を高める。 複雑さが増すことなく、BoostedProbは、異なる設定での生モデルの確率よりも顕著に優れている。
  論文  参考訳（メタデータ） (2025-02-16T13:12:31Z)
• Binary Hypothesis Testing for Softmax Models and Leverage Score Models [8.06972158448711]
  ソフトマックスモデルの設定における二元仮説テストの問題点を考察する。 我々はソフトマックスモデルとレバレッジスコアモデルとの類似性を描く。
  論文  参考訳（メタデータ） (2024-05-09T15:56:29Z)
• Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
  雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう 既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。 そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
  論文  参考訳（メタデータ） (2024-01-13T12:33:04Z)
• Towards Optimal Statistical Watermarking [95.46650092476372]
  仮説テスト問題として定式化して統計的透かしを研究する。 我々の定式化の鍵は、出力トークンと拒絶領域の結合である。 一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
  論文  参考訳（メタデータ） (2023-12-13T06:57:00Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
  文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。 文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
  論文  参考訳（メタデータ） (2022-05-25T18:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。