論文の概要: Hidden Biases in Conditioning Autoregressive Models

• arxiv url: http://arxiv.org/abs/2604.07855v1
• Date: Thu, 09 Apr 2026 06:12:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.732353
• Title: Hidden Biases in Conditioning Autoregressive Models
• Title（参考訳）: 自己回帰モデルにおける隠れバイアス
• Authors: Francois Pachet, Pierre Roy,
• Abstract要約: 大規模言語と音楽モデルは、制約付き世代にますます使われている。 これらのシステムは、しばしば顕著に機能するが、誘導手順は通常、基礎となる自己回帰モデルの正確な条件付けではない。 自己回帰モデルに対するいくつかの正確な推論タスクを定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language and music models are increasingly used for constrained generation: rhyming lines, fixed meter, inpainting or infilling, positional endings, and other global form requirements. These systems often perform strikingly well, but the induced procedures are usually not exact conditioning of the underlying autoregressive model. This creates a hidden inferential bias, distinct from the better-known notion of bias inherited from the training set: samples are distorted relative to the true constrained distribution, with no generic guarantee of complete coverage of the admissible solution space or of correct conditional probabilities over valid completions. We formalize several exact inference tasks for autoregressive models and prove corresponding hardness results. For succinctly represented autoregressive models whose next-token probabilities are computable in polynomial time, exact sentence-level maximum a posteriori (MAP) decoding is NP-hard. This hardness persists under unary and metrical constraints. On the sampling side, exact conditioned normalization is \#P-hard even for regular constraints such as fixed-length terminal events. Unlike finite-state Markov models, general autoregressive models do not admit a bounded-state dynamic program for these tasks. These results formalize a standard claim in the neural decoding literature: local autoregressive sampling is easy, whereas exact decoding and exact conditioning under global form constraints are computationally intractable in general.
• Abstract（参考訳）: 大規模な言語や音楽モデルは、リズムライン、固定メーター、塗り絵や埋め合わせ、位置的エンディング、その他のグローバルなフォーム要件など、制約のある世代にますます使われている。 これらのシステムは、しばしば顕著に機能するが、誘導手順は通常、基礎となる自己回帰モデルの正確な条件付けではない。 サンプルは真に制約された分布に対して歪んでいて、許容された解空間の完全なカバレッジや有効な完備化に対する正しい条件確率の一般的な保証はない。 自己回帰モデルに対するいくつかの正確な推論タスクを定式化し、対応する硬度結果を証明する。 多項式時間で次トーケン確率が計算可能な簡潔に表現された自己回帰モデルに対して、厳密な文レベル最大値(MAP)復号はNPハードである。 この硬さは単項およびメートル法的な制約の下で持続する。 サンプリング側では、固定長端末イベントのような規則的制約に対して、正確な条件付き正規化は#P-hardである。 有限状態マルコフモデルとは異なり、一般自己回帰モデルはこれらのタスクに対する有界状態動的プログラムを含まない。 これらの結果は、局所的な自己回帰サンプリングが簡単であるのに対して、グローバルな形式制約の下での正確な復号化と正確な条件付けは、一般に計算的に難解である。

関連論文リスト

• Continuous Diffusion Models Can Obey Formal Syntax [37.090659119764176]
  拡散言語モデルは、グローバルで非因果的プロセスのため、自己回帰モデルに代わる有望な代替手段を提供する。 本稿では,正規表現を用いて表現される形式的構文制約を満たすために,連続言語モデルをステアリングするための学習自由な手法を提案する。 提案手法は,潜在状態が与えられた正規表現で受け入れられる有効な文字列に復号される確率を推定する分析スコアを構築する。
  論文  参考訳（メタデータ） (2026-02-12T22:55:05Z)
• Can Continuous-Time Diffusion Models Generate and Solve Globally Constrained Discrete Problems? A Study on Sudoku [0.0]
  完備なSudoku格子を制御されたテストベッドとして使用し、連続緩和空間のサブセットとして扱う。 本研究では, スコアベースサンプリングが連続時間法の中で最も信頼性が高く, DDPM方式の祖先サンプリングが総合的に最も有効であることを示す。
  論文  参考訳（メタデータ） (2026-01-28T08:26:54Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• It's All in the Mix: Wasserstein Classification and Regression with Mixed Features [2.2685251390114565]
  我々は、離散的特徴の存在を忠実に説明できる分布的に堅牢な予測モデルを開発し、分析する。 我々のモデルは、離散的特徴の存在に非依存な既存手法を著しく上回り得ることを実証する。
  論文  参考訳（メタデータ） (2023-12-19T15:15:52Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• The Decaying Missing-at-Random Framework: Model Doubly Robust Causal Inference with Partially Labeled Data [8.916614661563893]
  因果推論を両立させるために,MARフレームワークの欠落と関連するアプローチを導入する。 これはラベル付け機構における選択バイアスとラベル付きグループとラベルなしグループの極端な不均衡に同時に対処する。 因果関係の堅牢性を確保するため,平均治療効果に対するバイアス低減SS推定器を提案する。
  論文  参考訳（メタデータ） (2023-05-22T07:37:12Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。