論文の概要: The Alignment Game: A Theory of Long-Horizon Alignment Through Recursive Curation

• arxiv url: http://arxiv.org/abs/2511.12804v1
• Date: Sun, 16 Nov 2025 22:17:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.552632
• Title: The Alignment Game: A Theory of Long-Horizon Alignment Through Recursive Curation
• Title（参考訳）: アライメントゲーム:再帰的キュレーションによる長軸アライメントの理論
• Authors: Ali Falahati, Mohammad Mohammadi Amiri, Kate Larson, Lukasz Golab,
• Abstract要約: モデル所有者は、どのアウトプットをモデルによって学習すべきかをフィルタリングし、パブリックユーザは、どのアウトプットが最終的に共有され、モデルとのインタラクションによって保持されるかを決定する。 分析の結果,コンセンサス・コンセンサス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・アライメント・アライメント・アライメント・アライメントの程度によって,3つの構造的コンバージェンス・アライメント・アライメント・アライメント・アライメントが明らかになった。 我々は、アライメントは静的な目標ではなく、パワー対称性と経路依存の両方によって形成される平衡の進化であることを示した。
• 参考スコア（独自算出の注目度）: 13.835275211048113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In self-consuming generative models that train on their own outputs, alignment with user preferences becomes a recursive rather than one-time process. We provide the first formal foundation for analyzing the long-term effects of such recursive retraining on alignment. Under a two-stage curation mechanism based on the Bradley-Terry (BT) model, we model alignment as an interaction between two factions: the Model Owner, who filters which outputs should be learned by the model, and the Public User, who determines which outputs are ultimately shared and retained through interactions with the model. Our analysis reveals three structural convergence regimes depending on the degree of preference alignment: consensus collapse, compromise on shared optima, and asymmetric refinement. We prove a fundamental impossibility theorem: no recursive BT-based curation mechanism can simultaneously preserve diversity, ensure symmetric influence, and eliminate dependence on initialization. Framing the process as dynamic social choice, we show that alignment is not a static goal but an evolving equilibrium, shaped both by power asymmetries and path dependence.
• Abstract（参考訳）: 独自のアウトプットをトレーニングする自己消費生成モデルでは、ユーザの好みとの整合性は、1回のプロセスではなく再帰的になります。 このような再帰的再訓練がアライメントに与える影響を解析するための最初の公式な基礎を提供する。 Bradley-Terry(BT)モデルに基づく2段階のキュレーションメカニズムの下では、モデルによって学習すべき出力をフィルタするモデル所有者と、モデルとのインタラクションを通じて最終的にどのアウトプットが共有され、保持されるかを判断するパブリックユーザという2つの派閥間の相互作用としてアライメントをモデル化する。 分析の結果,コンセンサス・コンセンサス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・アライメント・アライメント・アライメント・アライメントの程度によって,3つの構造的コンバージェンス・アライメント・アライメント・アライメント・アライメントが明らかになった。 再帰的なBTベースのキュレーション機構は、多様性を同時に保存し、対称的な影響を保証し、初期化への依存を排除できない。 プロセスが動的な社会的選択であると断定すると、アライメントは静的な目標ではなく、パワー対称性とパス依存の両方によって形成される平衡の進化であることを示す。

関連論文リスト

• Ensemble-size-dependence of deep-learning post-processing methods that minimize an (un)fair score: motivating examples and a proof-of-concept solution [0.0]
  軌道変換器を,アンサンブルサイズの独立性を実現するための概念実証として導入する。 このアプローチは、トランスフォーマー(PoET)フレームワークによるポストプロセッシング・アンサンブル(Post-processing Ensembles)の適応である。
  論文  参考訳（メタデータ） (2026-02-17T18:59:55Z)
• On the Limits of Self-Improving in LLMs and Why AGI, ASI and the Singularity Are Not Near Without Symbolic Model Synthesis [0.01269104766024433]
  我々は,大規模言語モデル(LLM)における自己学習と生成AIを離散時間力学系として定式化する。 1) 有限サンプリング効果が分布多様性の単調な損失(モード崩壊)を引き起こすエントロピー減衰と,(2) 外部グラウンドの損失がモデルの真理表現をランダムウォークとして漂流させる変数増幅の2つの基本的障害モードを導出する。
  論文  参考訳（メタデータ） (2026-01-05T19:50:49Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• On the Collapse of Generative Paths: A Criterion and Correction for Diffusion Steering [29.633206995806542]
  インタイムステアリングにより、事前トレーニングされた拡散/フローモデルを、再トレーニングせずに新しいタスクに適合させることができる。 この構造には批判的かつ以前は形式化されていなかった障害モード(Marginal Path Collapse)がある。 本稿では,Feynman-Kac ステアリングを時間変化指数に拡張する Adaptive path Correction with Exponents (ACE) を提案する。
  論文  参考訳（メタデータ） (2025-12-11T06:44:08Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Cycle-Consistent Helmholtz Machine: Goal-Seeded Simulation via Inverted Inference [5.234742752529437]
  emphCycle-Consistent Helmholtz Machine (C$2$HM)を紹介する。 C$2$HM reframes inference as a emphgoal-seeded, emphasymmetric process grounded in structureed internal priors。 古典的償却推論に代わる生物学的にインスパイアされた代替手段を提供することにより、$C2$HMは生成モデリングを意図的シミュレーションとして再考する。
  論文  参考訳（メタデータ） (2025-07-03T17:24:27Z)
• Escaping Plato's Cave: JAM for Aligning Independently Trained Vision and Language Models [30.07172193932125]
  本稿では,JAM(Joint Autoencoder Modulator)が独立に訓練された表現のアライメントを誘導することを示す。 本研究は, 共通意味論の構造に関する理論的知見と, 一般論的な一助的基礎を専門的マルチモーダルモデルに変換するための実践的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-07-01T21:43:50Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Self-rewarding correction for mathematical reasoning [19.480508580498103]
  我々は,大規模言語モデル(LLM)の自己回帰的推論について研究する。 LLMは、ステップバイステップの推論を同時に生成し、外部からのフィードバックを伴わない推論時間における出力の正しさを評価する。 本稿では,自己生成データのみを用いて自己回帰推論モデルを構築するための2段階のアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-26T23:01:16Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
  歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。 本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。 実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
  論文  参考訳（メタデータ） (2020-09-21T13:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。