論文の概要: ENIGMA: The Geometry of Reasoning and Alignment in Large-Language Models

• arxiv url: http://arxiv.org/abs/2510.11278v2
• Date: Thu, 16 Oct 2025 09:21:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 14:17:28.087903
• Title: ENIGMA: The Geometry of Reasoning and Alignment in Large-Language Models
• Title（参考訳）: ENIGMA:大規模言語モデルにおける推論とアライメントの幾何学
• Authors: Gareth Seneque, Lap-Hang Ho, Nafise Erfanian Saeedi, Jeffrey Molendijk, Ariel Kuperman, Tim Elson,
• Abstract要約: エントロピー多言語モデルアライメント(ENIGMA)について述べる。 組織の方針や原則を、モデルの情報多様体に移動する方向として扱うことで、推論、アライメント、ロバスト性を改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Entropic Mutual-Information Geometry Large-Language Model Alignment (ENIGMA), a novel approach to Large-Language Model (LLM) training that jointly improves reasoning, alignment and robustness by treating an organisation's policies/principles as directions to move on a model's information manifold. Our single-loop trainer combines Group-Relative Policy Optimisation (GRPO), an on-policy, critic-free RL method with Chain-of-Thought (CoT)-format only rewards; a Self-Supervised Alignment with Mutual Information (SAMI)-style symmetric InfoNCE auxiliary; and an entropic Sinkhorn optimal-transport regulariser on hidden-state distributions to bound geometry drift. We also introduce infoNCE metrics that specialise to a standard MI lower bound under matched negatives to measure how strongly a model's CoT encodes these policies. These metrics include a Sufficiency Index (SI) that enables the selection and creation of principles that maximise downstream performance prior to training. In our experiments using small (1B) LLMs, high-SI principles predict steadier training dynamics and improved benchmark performance over GRPO ablations. Our information-geometry analysis of trained models validates desirable structural change in the manifold. These results support our hypothesis that reasoning, alignment, and robustness are projections of a single information-geometric objective, and that models trained using ENIGMA demonstrate principled reasoning without the use of a reward model, offering a path to trusted capability
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)トレーニングに対する新たなアプローチであるエントロピー的相互情報幾何大言語モデルアライメント(ENIGMA)を提案する。 我々の単一ループトレーナーは、グループ相対政策最適化(GRPO)、オンラインの批判のないRL法とChain-of-Thought(CoT)形式のみの報酬、SAMI型対称InfoNCE補助の自己監督アライメント、および隠れ状態分布における境界幾何学的ドリフトに対するエントロピックシンクホーン最適輸送レギュラーを組み合わせた。 また、モデルCoTがこれらのポリシーをいかに強固にエンコードするかを測定するために、マッチした負の下で標準MI下限に特化するインフォNCEメトリクスも導入する。 これらのメトリクスには、トレーニング前に下流のパフォーマンスを最大化する原則の選択と作成を可能にするSufficiency Index(SI)が含まれている。 小型 (1B) の LLM を用いた実験では,高SI 原理により,より安定なトレーニングダイナミクスが予測され,GRPO によるベンチマーク性能が向上した。 訓練されたモデルの情報幾何学的解析は、多様体の望ましい構造変化を検証する。 これらの結果は、推論、アライメント、ロバスト性は単一の情報幾何学的目的の投影であり、ENIGMAを用いて訓練されたモデルは、報酬モデルを用いずに原則的推論を示し、信頼できる能力への道を提供するという仮説を支持している。

関連論文リスト

• Shaping Explanations: Semantic Reward Modeling with Encoder-Only Transformers for GRPO [0.0]
  グループ相対政策最適化フレームワークにおいて,報酬形成のための新たなアプローチを導入する。 私たちの中心的な貢献は、セマンティック報酬モデルとして、小型で効率的なエンコーダのみのトランスフォーマーを使用することです。 本手法は,イタリア医学部入学試験のモデルを訓練する作業に適用する。
  論文  参考訳（メタデータ） (2025-09-16T13:39:29Z)
• RecLLM-R1: A Two-Stage Training Paradigm with Reinforcement Learning and Chain-of-Thought v1 [20.92548890511589]
  本稿では,Large Language Models(LLM)を利用したレコメンデーションフレームワークであるRecLLM-R1を紹介する。 RecLLM-R1は、精度、多様性、新規性など、さまざまな評価指標において、既存のベースラインメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-06-24T01:39:34Z)
• Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws [52.10468229008941]
  本稿では,戦略データの選択や重み付けを通じて,対象モデルのトレーニングを指導・強化するための基準として,訓練モデルを用いた新たな学習パラダイムを定式化する。 提案手法は,参照モデルを持たないトレーニングと比較して,一般化とデータの効率性を改善する理由に関する理論的知見を提供する。 これらの知見に基づいて,DRRho-CLIPと呼ばれる参照モデルを用いたコントラスト言語-画像事前学習手法を提案する。
  論文  参考訳（メタデータ） (2025-05-10T16:55:03Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。