論文の概要: Compositional Generalization in Autoregressive Models via Logit Composition

• arxiv url: http://arxiv.org/abs/2605.28304v1
• Date: Wed, 27 May 2026 11:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.990571
• Title: Compositional Generalization in Autoregressive Models via Logit Composition
• Title（参考訳）: ロジット合成による自己回帰モデルの構成一般化
• Authors: Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale,
• Abstract要約: 本稿では, 自己回帰システムのための新しい, 原則的構成戦略を提案する。 因子化された条件付き仮定の下では、結果の合成が射影的であることを示す。 また,因子化仮定と成分保証が目標長さで均一に保たれている場合,構成が長さ一般化挙動を保っていることを示す。
• 参考スコア（独自算出の注目度）: 5.3804728961007315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Composing autoregressive models remains a core challenge in understanding how large language models can combine behaviors or skills learned across tasks. We introduce a new and principled composition strategy for autoregressive systems, inspired by composition methods developed for diffusion models. Under a factorized-conditionals assumption, we show that the resulting composition is projective: each component model preserves control over its own designated subspace of the output distribution avoiding interference between models. This property is further preserved under smooth reparameterizations of the output space, yielding a feature-space theorem. Finally, we show that composition preserves length-generalizing behavior when the factorization assumptions and component guarantees hold uniformly at the target length. These results provide a principled understanding of when model composition and merging succeed in autoregressive systems and identify conditions under which their interactions remain stable.
• Abstract（参考訳）: 自己回帰モデルを構成することは、大きな言語モデルがタスク間で学んだ振る舞いやスキルをどのように組み合わせるかを理解する上で、依然として重要な課題である。 拡散モデルのために開発された合成法に触発されて, 自己回帰システムのための新しい, 原理化された合成戦略を導入する。 各コンポーネントモデルは、モデル間の干渉を避けるために、出力分布の指定した部分空間の制御を保持する。 この性質は出力空間の滑らかな再パラメータ化の下でさらに保存され、特徴空間定理が導かれる。 最後に,因子化仮定と成分保証が目標長さで均一に保持される場合,構成が長さ一般化挙動を保存することを示す。 これらの結果は、モデル構成とマージが自己回帰システムにいつ成功したのかを原則的に理解し、それらの相互作用が安定している条件を特定する。

関連論文リスト

• CPC-VAR:Continual Personalized and Compositional Generation in Visual Autoregressive Models [69.9266117908314]
  VAR(Visual Autoregressive)モデルは、テキスト・ツー・イメージ生成の効率的なパラダイムとして登場した。 既存のVARベースのパーソナライズ方法は、進化するユーザ要求に対応できない。 VARモデルにおける連続的パーソナライズ生成に関する最初の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-05-19T12:18:15Z)
• Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality [0.6670498055582529]
  O'Prior(O'Prior)は、以前に4つの結合成分を中心に構築された構成的リアリズムである。 O'Priorは、実際のベンチマークにおける精度と堅牢性において、一貫性と実質的な改善をもたらす。
  論文  参考訳（メタデータ） (2026-05-18T18:00:45Z)
• Beyond Parameter Arithmetic: Sparse Complementary Fusion for Distribution-Aware Model Merging [20.429700094073684]
  本稿では,スパース・分散対応更新による機能的干渉を明示的に制御する新しいモデル統合フレームワークである,逆KL(SCF-RKL)を用いたスパース補完核融合を提案する。 我々は,SCF-RKLを多種多様なモデルスケールとアーキテクチャで評価し,推論型モデルと命令型モデルの両方を網羅した。
  論文  参考訳（メタデータ） (2026-02-12T08:45:42Z)
• Disentangled Representation Learning via Modular Compositional Bias [19.244228209387163]
  目的とアーキテクチャの両方から分離されたモジュラー帰納バイアスである構成バイアスを提案する。 我々の重要な洞察は、異なる要因がデータ分散において異なる組換え規則に従うことである。 提案手法は属性とオブジェクトの絡み合いの両面での競合性能を示し,グローバルなスタイルとオブジェクトの絡み合いを一意に達成する。
  論文  参考訳（メタデータ） (2025-10-24T12:46:19Z)
• Visual Self-Refinement for Autoregressive Models [27.0373357661741]
  本研究は,複雑な空間対応モデリングを強化するためのプラグ・アンド・プレイ・リファインメント・モジュールを提案する。 実験により,提案手法は生成品質を向上し,意味的に一貫した結果を生成するモデルの能力を向上させることを示した。
  論文  参考訳（メタデータ） (2025-10-01T15:03:32Z)
• Composition and Alignment of Diffusion Models using Constrained Learning [79.36736636241564]
  拡散モデルは、複雑な分布からサンプルを採取する能力により、生成的モデリングにおいて普及している。 i) 拡散モデルを微調整して報酬と整合させるアライメントと、(ii) 予め訓練された拡散モデルを組み合わせて、それぞれが生成した出力に望ましい属性を強調する合成である。 本稿では,共役モデルが報酬制約を満たすこと,あるいは(潜在的に複数の)事前学習モデルに近づき続けることを強制することによって,拡散モデルのアライメントと構成を統一する制約付き最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-26T15:06:30Z)
• Learning Time-Aware Causal Representation for Model Generalization in Evolving Domains [50.66049136093248]
  動的因果要因と因果機構のドリフトを組み込んだ時間認識型構造因果モデル(SCM)を開発した。 本研究では,時間領域毎に最適な因果予測値が得られることを示す。 合成と実世界の両方のデータセットの結果から,SynCは時間的一般化性能に優れることが示された。
  論文  参考訳（メタデータ） (2025-06-21T14:05:37Z)
• Compositional Generalization via Forced Rendering of Disentangled Latents [5.762286612061953]
  作曲の一般化は 深層学習の鍵となる課題です 本研究では, 完全に非絡み合った (x,y) 入力を持つ制御された2次元ガウス型「バンプ」生成タスクについて検討する。 この失敗は、真の因子化特徴の合成ではなく、データ重ね合わせによる生成のための「記憶」戦略を反映していることを示す。
  論文  参考訳（メタデータ） (2025-01-30T23:20:41Z)
• Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
  本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。 本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。 実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-10T17:04:39Z)
• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。