論文の概要: Topology-Enhanced Alignment for Large Language Models: Trajectory Topology Loss and Topological Preference Optimization

• arxiv url: http://arxiv.org/abs/2605.07172v1
• Date: Fri, 08 May 2026 03:07:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.767352
• Title: Topology-Enhanced Alignment for Large Language Models: Trajectory Topology Loss and Topological Preference Optimization
• Title（参考訳）: 大規模言語モデルのトポロジ強化アライメント:軌道トポロジ損失とトポロジ的選好最適化
• Authors: Yurui Pan, Ke Xu, Bo Peng,
• Abstract要約: SFTとRLHF/DPOによる大きな言語モデル(LLM)のアライメントは通常、表現空間のグローバルな幾何学を無視している。 0次元の持続的ホモロジーを用いてこれらの軌道を正則化するトポロジ強化アライメントフレームワークを提案する。 結果は、永続的ホモロジーと軌道幾何学が制御可能なアライメントに対して有望な方向を提供することを示している。
• 参考スコア（独自算出の注目度）: 11.937755996746331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Alignment of large language models (LLMs) via SFT and RLHF/DPO typically ignores the global geometry of the representation space, relying instead on local token likelihoods or scalar scores. We view generation as tracing a semantic trajectory in hidden space and propose a topology-enhanced alignment framework that regularizes these trajectories using 0-dimensional persistent homology. First, for SFT, we introduce Trajectory Topology Loss (TTL). Treating prompt and gold-answer embeddings as a mixed point cloud, we use a 0D persistent homology algorithm to extract "prompt-answer bridges." TTL aligns the model's actual update direction with these topological bridges rather than arbitrary directions. Second, for DPO, we propose Topological Preference Optimization (TPO). TPO constructs topic-specific semantic preference vectors and aligns the improvement direction between rejected and chosen responses with these vectors in an intermediate hidden layer. We also introduce a dynamic weighting scheme to balance DPO and TPO losses. Evaluating on Qwen2.5-7B-Instruct using UltraChat and Anthropic HH-RLHF, our topology-enhanced objectives consistently outperform strong non-topological baselines (e.g., per-example, nearest-neighbor, random regularizers) on automatic preference metrics and LLM-judge evaluations, while maintaining or improving toxicity. Results show persistent homology and trajectory geometry offer a promising direction for controllable alignment.
• Abstract（参考訳）: SFTとRLHF/DPOによる大きな言語モデル(LLM)のアライメントは通常、局所トークン確率やスカラースコアに依存するため、表現空間のグローバルな幾何学を無視している。 我々は生成を隠れ空間における意味的軌跡のトレースとみなし、0次元の持続的ホモロジーを用いてこれらの軌跡を正則化するトポロジ強化アライメントフレームワークを提案する。 まず、SFTでは、TTL(Torjectory Topology Loss)を紹介する。 混合点雲としてプロンプトとゴールド・アンサーの埋め込みを扱うため、0D持続ホモロジーアルゴリズムを用いて「プロンプト・アンサー・ブリッジ」を抽出する。 TTLは、モデルの実際の更新方向を、任意の方向ではなく、これらのトポロジカルブリッジと整合させる。 次に、DPOに対して、Topological Preference Optimization (TPO)を提案する。 TPOは、トピック固有の意味的嗜好ベクトルを構築し、削除された応答と選択された応答の間に改善方向を中間隠蔽層で整列させる。 また、DPOとTPO損失のバランスをとるための動的重み付け方式も導入する。 UltraChat と Anthropic HH-RLHF を用いたQwen2.5-7B-Instruct の評価では, 毒性の維持・改善を図りながら, 自動選好測定およびLCM-judge 評価において, トポロジに富んだ非トポロジ的基準線(例えば, サンプル当たり, 最寄り, ランダム正則化器)を常に上回っている。 結果は、永続的ホモロジーと軌道幾何学が制御可能なアライメントに対して有望な方向を提供することを示している。

関連論文リスト

• SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation [52.752934028506274]
  我々は,新しい多レベル直接参照最適化フレームワークSignDPOを提案する。 SignDPOは、最先端のGloss-freeメソッドよりも一貫して優れていることを示す。 以上の結果から,多レベル選好アライメントは,高エントロピーな骨格軌道と個別言語意味論のギャップを埋める強力なパラダイムであることが示唆された。
  論文  参考訳（メタデータ） (2026-04-20T09:59:18Z)
• TOPCELL: Topology Optimization of Standard Cell via LLMs [18.076256744558087]
  本稿では,大規模言語モデル(LLM)を用いた高次元トポロジー探索を生成タスクとして再構成する新しいフレームワークであるTOPCELLを紹介する。 先進的な2nm技術ノードをターゲットとした産業用フローにおける実験結果から,TOPCELLは粗悪で物理的に認識可能なトポロジを発見する上で,基礎モデルよりも著しく優れていた。 7nmライブラリ生成タスクのための最先端(SOTA)自動化フローに統合されると、TOPCELLは堅牢なゼロショットの一般化を示し、85.91倍のスピードアップを達成しつつ、抜本的なソルバのレイアウト品質に適合する。
  論文  参考訳（メタデータ） (2026-04-15T00:19:07Z)
• Beyond Distance: Quantifying Point Cloud Dynamics with Persistent Homology and Dynamic Optimal Transport [29.979662030541146]
  本稿では,最近提案されたトポロジカル・オプティカル・トランスポート(TpOT)距離を拡張して,時間進化点雲のトポロジカル・ティッピングを解析するためのフレームワークを提案する。 この制限を克服するために、新しいトポロジとハイパーグラフ再構成戦略によって駆動される階層的動的評価フレームワークを提案する。 この測地線とともに、グローバルシフトを捉えるためのマクロメトリクス(トポロジカル歪みとパーシスタンスエントロピー)と、高感度で非同期な局所的な変更を検出するための新しいメソスコピック双対パースペクティブハイパーグラフエントロピーを導入する。
  論文  参考訳（メタデータ） (2026-03-15T07:56:56Z)
• Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
  クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。 言語モデル微調整のための特徴マッチング手法を提案する。 この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:57:50Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• Fine-Grained Representation for Lane Topology Reasoning [9.999635859285341]
  微粒レーントポロジー推論フレームワーク(TopoFG)を提案する。 鳥眼ビュー(Bird's-eye-view, BEV)機能から, きめ細かいクエリによるトポロジー予測に分解する。 OLSは48.0でサブセットAは48.0、サブセットBは45.4である。
  論文  参考訳（メタデータ） (2025-11-16T13:24:30Z)
• Diffeomorphic interpolation for efficient persistence-based topological optimization [3.7550827441501844]
  トポロジカルデータ分析(TDA)は、構造化オブジェクトから定量的トポロジカル記述子を抽出するパイプラインを提供する。 提案手法は, サブサンプル上で計算された勾配から導出される微分同相を, 完全な入力対象の座標を更新するために有効であることを示す。 我々はまた,ブラックボックスオートエンコーダ(AE)正則化に対する我々のアプローチの妥当性を示す。そこでは,固定,事前学習,ブラックボックスAEモデルに関連する潜伏空間のトポロジ的先行を強制することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T07:00:28Z)
• Understanding Token-level Topological Structures in Transformer-based Time Series Forecasting [52.364260925700485]
  Transformer-based method has achieved state-of-the-art performance in time series forecasting (TSF) 既存のトランスフォーマーが中間層全体を通してトークン間の固有位相構造を完全に活用しているかどうかは不明である。 トークンレベルのトポロジを明示的にかつ適応的に保存するトランスフォーマーベースの新しいTSF手法であるトポロジ拡張法(TEM)を提案する。
  論文  参考訳（メタデータ） (2024-04-16T07:21:39Z)
• Relation Matters: Foreground-aware Graph-based Relational Reasoning for Domain Adaptive Object Detection [81.07378219410182]
  我々は、FGRR(Fearground-aware Graph-based Reasoning)というドメインDのための新しい汎用フレームワークを提案する。 FGRRはグラフ構造を検出パイプラインに組み込んで、ドメイン内およびドメイン間フォアグラウンドオブジェクト関係を明示的にモデル化する。 実験の結果、提案したFGRRは4つのDomainDベンチマークの最先端よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-06T05:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。