論文の概要: Simplifying the Modeling of Arbitrary Conditionals in Natural Language

• arxiv url: http://arxiv.org/abs/2606.14943v1
• Date: Fri, 12 Jun 2026 20:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.469175
• Title: Simplifying the Modeling of Arbitrary Conditionals in Natural Language
• Title（参考訳）: 自然言語における任意条件のモデリングの簡易化
• Authors: Yinhan Lu, Eric Elmoznino, Léo Gagnon, Sarthak Mittal, Tejas Kasetty, Guillaume Lajoie,
• Abstract要約: 任意の条件から評価およびサンプリングを行うための因果変換器の簡易な修正を提案する。 従来の手法とは異なり,本手法は標準左から右への順序付けと次への予測の目的を保存している。 実験結果から,任意の条件条件のモデル化において,本手法がベースラインよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 17.976297592768713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Causal Transformers model sequences through an autoregressive factorization of the joint distribution, which enables efficient left-to-right decoding and conditional likelihood computation. However, they cannot tractably sample from or evaluate arbitrary conditionals -- e.g., a block of text conditioned on past and future tokens. Recent work aims to solve this problem through novel architectures, but they often lead to sub-optimal modeling of such conditionals and degraded generations. We propose Arbitrary Conditionals GPT (AC-GPT) which introduces a simple modification to standard causal Transformers to enable evaluating and sampling from arbitrary conditionals -- including past, future, and mixed contexts -- within a single forward pass. Unlike prior approaches, our method preserves the standard left-to-right ordering and next-token prediction objective essential for both strong performance and efficient training on natural language. Crucially, this compatibility allows existing LLMs to be fine-tuned for arbitrary conditioning. Our empirical results indicate that our method outperforms baselines on modeling arbitrary conditionals, without degrading standard left-to-right performance.
• Abstract（参考訳）: 因果変換器は、結合分布の自己回帰因子化を通じて、効率的な左から右への復号化と条件付きオプティカル・オプティカル・オプティカル・オプティカル・計算を可能にする。 しかし、任意の条件(例えば、過去と将来のトークンに条件付けされたテキストのブロック)から抽出したり、評価したりすることはできない。 最近の研究は、新しいアーキテクチャを通してこの問題を解決することを目的としているが、そのような条件と劣化した世代を最適以下にモデル化することにつながることが多い。 本稿では,標準因果変換器に簡単な修正を加えたArbitrary Conditionals GPT(AC-GPT)を提案する。 従来の手法と異なり,本手法は,自然言語の強靭な性能と効率的な学習に不可欠な,標準左から右への順序付けと次への予測の目的を保っている。 重要なことに、この互換性により、既存のLCMを任意の条件付けのために微調整できる。 実験結果から,本手法は左から右への標準性能を劣化させることなく,任意の条件をモデル化する上で,ベースラインよりも優れていたことが示唆された。

関連論文リスト

• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• Continuous Diffusion Models Can Obey Formal Syntax [37.090659119764176]
  拡散言語モデルは、グローバルで非因果的プロセスのため、自己回帰モデルに代わる有望な代替手段を提供する。 本稿では,正規表現を用いて表現される形式的構文制約を満たすために,連続言語モデルをステアリングするための学習自由な手法を提案する。 提案手法は,潜在状態が与えられた正規表現で受け入れられる有効な文字列に復号される確率を推定する分析スコアを構築する。
  論文  参考訳（メタデータ） (2026-02-12T22:55:05Z)
• Score-based Generative Modeling for Conditional Independence Testing [35.0533359302886]
  本稿では,精度の高いタイプIエラー制御と強力なテスト能力を実現するための,スコアベース生成モデルによる新しいCIテスト手法を提案する。 スコアベース生成モデルによりモデル化された条件分布の誤差境界を理論的に確立し,CIテストの有効性を検証した。
  論文  参考訳（メタデータ） (2025-05-29T10:10:46Z)
• KL-geodesics flow matching with a novel sampling scheme [4.347494885647007]
  非自己回帰型言語モデルは全てのトークンを同時に生成し、従来の自己回帰型モデルよりも潜在的に高速である。 テキスト生成のための条件付きフローマッチング手法について検討する。
  論文  参考訳（メタデータ） (2024-11-25T17:15:41Z)
• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Training and Inference on Any-Order Autoregressive Models the Right Way [97.39464776373902]
  Any-Order Autoregressive Models (AO-ARMs) のファミリは、任意の条件付きタスクにおいてブレークスルーのパフォーマンスを示している。 我々は、AO-ARMの以前の定式化に対して行うべき重要な改善について確認する。 本手法はトラクタビリティを損なうことなく性能を向上する。
  論文  参考訳（メタデータ） (2022-05-26T18:00:02Z)
• Contrastive Learning with Adversarial Perturbations for Conditional Text Generation [49.055659008469284]
  seq2seqモデルのコントラスト学習のための正負のサンプルを生成する原則的な方法を提案する。 具体的には、入力シーケンスに小さな摂動を加えることで、条件付き可能性を最小限に抑えるネガティブな例を生成します。 提案手法は,3つのテキスト生成タスクにおけるSeq2seqの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-12-14T06:20:27Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。