論文の概要: The Alignment Game: A Theory of Long-Horizon Alignment Through Recursive Curation

• arxiv url: http://arxiv.org/abs/2511.12804v1
• Date: Sun, 16 Nov 2025 22:17:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.552632
• Title: The Alignment Game: A Theory of Long-Horizon Alignment Through Recursive Curation
• Title（参考訳）: アライメントゲーム:再帰的キュレーションによる長軸アライメントの理論
• Authors: Ali Falahati, Mohammad Mohammadi Amiri, Kate Larson, Lukasz Golab,
• Abstract要約: モデル所有者は、どのアウトプットをモデルによって学習すべきかをフィルタリングし、パブリックユーザは、どのアウトプットが最終的に共有され、モデルとのインタラクションによって保持されるかを決定する。 分析の結果,コンセンサス・コンセンサス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・アライメント・アライメント・アライメント・アライメントの程度によって,3つの構造的コンバージェンス・アライメント・アライメント・アライメント・アライメントが明らかになった。 我々は、アライメントは静的な目標ではなく、パワー対称性と経路依存の両方によって形成される平衡の進化であることを示した。
• 参考スコア（独自算出の注目度）: 13.835275211048113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In self-consuming generative models that train on their own outputs, alignment with user preferences becomes a recursive rather than one-time process. We provide the first formal foundation for analyzing the long-term effects of such recursive retraining on alignment. Under a two-stage curation mechanism based on the Bradley-Terry (BT) model, we model alignment as an interaction between two factions: the Model Owner, who filters which outputs should be learned by the model, and the Public User, who determines which outputs are ultimately shared and retained through interactions with the model. Our analysis reveals three structural convergence regimes depending on the degree of preference alignment: consensus collapse, compromise on shared optima, and asymmetric refinement. We prove a fundamental impossibility theorem: no recursive BT-based curation mechanism can simultaneously preserve diversity, ensure symmetric influence, and eliminate dependence on initialization. Framing the process as dynamic social choice, we show that alignment is not a static goal but an evolving equilibrium, shaped both by power asymmetries and path dependence.
• Abstract（参考訳）: 独自のアウトプットをトレーニングする自己消費生成モデルでは、ユーザの好みとの整合性は、1回のプロセスではなく再帰的になります。 このような再帰的再訓練がアライメントに与える影響を解析するための最初の公式な基礎を提供する。 Bradley-Terry(BT)モデルに基づく2段階のキュレーションメカニズムの下では、モデルによって学習すべき出力をフィルタするモデル所有者と、モデルとのインタラクションを通じて最終的にどのアウトプットが共有され、保持されるかを判断するパブリックユーザという2つの派閥間の相互作用としてアライメントをモデル化する。 分析の結果,コンセンサス・コンセンサス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・アライメント・アライメント・アライメント・アライメントの程度によって,3つの構造的コンバージェンス・アライメント・アライメント・アライメント・アライメントが明らかになった。 再帰的なBTベースのキュレーション機構は、多様性を同時に保存し、対称的な影響を保証し、初期化への依存を排除できない。 プロセスが動的な社会的選択であると断定すると、アライメントは静的な目標ではなく、パワー対称性とパス依存の両方によって形成される平衡の進化であることを示す。

関連論文リスト

• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Cycle-Consistent Helmholtz Machine: Goal-Seeded Simulation via Inverted Inference [5.234742752529437]
  emphCycle-Consistent Helmholtz Machine (C$2$HM)を紹介する。 C$2$HM reframes inference as a emphgoal-seeded, emphasymmetric process grounded in structureed internal priors。 古典的償却推論に代わる生物学的にインスパイアされた代替手段を提供することにより、$C2$HMは生成モデリングを意図的シミュレーションとして再考する。
  論文  参考訳（メタデータ） (2025-07-03T17:24:27Z)
• Escaping Plato's Cave: JAM for Aligning Independently Trained Vision and Language Models [30.07172193932125]
  本稿では,JAM(Joint Autoencoder Modulator)が独立に訓練された表現のアライメントを誘導することを示す。 本研究は, 共通意味論の構造に関する理論的知見と, 一般論的な一助的基礎を専門的マルチモーダルモデルに変換するための実践的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-07-01T21:43:50Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
  歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。 本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。 実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
  論文  参考訳（メタデータ） (2020-09-21T13:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。