論文の概要: ECLIPTICA - A Framework for Switchable LLM Alignment via CITA - Contrastive Instruction-Tuned Alignment

• arxiv url: http://arxiv.org/abs/2601.06157v1
• Date: Tue, 06 Jan 2026 08:28:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.622796
• Title: ECLIPTICA - A Framework for Switchable LLM Alignment via CITA - Contrastive Instruction-Tuned Alignment
• Title（参考訳）: ECLIPTICA - CITA-Contrastive Instruction-Tuned Alignmentによる変更可能なLLMアライメントのためのフレームワーク
• Abstract要約: ECLIPTICAは、アライメントを命令駆動で実行時制御可能なものとして扱う。 安全要件、ユーザロール、ガバナンス制約の進化の下で、即時に振る舞いを調整します。 命令調整効率は86.7%に達し、DPO(56.1%)、GRPO(36.1%)、PPO(20.4%)を上回った。
• 参考スコア（独自算出の注目度）: 18.653643003491695
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Alignment in large language models (LLMs) is still largely static: after training, the policy is frozen. DPO, GRPO methods typically imprint one behavior into the weights, leaving little runtime control beyond prompt hacks or expensive re-alignment. We introduce ECLIPTICA, which treats alignment as instruction-driven and runtime-controllable: natural-language alignment instructions act as an explicit behavioral contract (stance, refusal boundary, verbosity) that modulates behavior on the fly under evolving safety requirements, user roles, and governance constraints. We introduce CITA (Contrastive Instruction-Tuned Alignment), combining SFT with contrastive preference optimization under an explicit geometric anchor to a reference model. This yields a stable Riemannian chart and keeps instruction updates within a shared neighborhood, so regimes stay nearby and traversable for reliable switching. To isolate policy switching from ordinary instruction following, we release the ECLIPTICA benchmark: 3000 controlled cases (300 prompts x 10 instruction types) where the user request is fixed and only the alignment instruction changes. On Llama-3.1-8B across five suites (ECLIPTICA, TruthfulQA, Conditional Safety, Length Control, LITMUS), CITA reaches 86.7% instruction-alignment efficiency, beating DPO (56.1%), GRPO (36.1%), and PPO (20.4%).
• Abstract（参考訳）: 大規模言語モデル(LLM)のアライメントは依然として大部分が静的である。 DPO、GRPOメソッドは通常、1つの振る舞いを重みに印加し、迅速なハックや高価なリアライメント以外の実行時のコントロールをほとんど残さない。 自然言語アライメント命令は、安全要件やユーザロール、ガバナンス制約の進化の下で、オンザフライでの振る舞いを調節する明示的な行動契約(スタンス、拒否境界、冗長性)として機能する。 本稿では、CITA(Contrastive Instruction-Tuned Alignment)を導入し、SFTと対照的な選好最適化を基準モデルに明示的な幾何アンカーの下で組み合わせる。 これにより、安定なリーマンチャートが得られ、命令の更新は共有地区内に保持されるため、政権は近くにとどまり、信頼できる切り替えが可能となる。 3000の制御されたケース(300がx10命令タイプをプロンプトする)では,ユーザ要求が固定され,アライメント命令のみが変更される。 5つのスイート(ECLIPTICA, TruthfulQA, Conditional Safety, Length Control, LITMUS)にわたるLlama-3.1-8Bでは、CITAは86.7%の命令調整効率に達し、DPO(56.1%)、GRPO(36.1%)、PPO(20.4%)を上回っている。

関連論文リスト

• LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
  検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。 最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。 この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
  論文  参考訳（メタデータ） (2026-07-05T17:05:13Z)
• Closed-Loop Control with Rule-Aligned Small Language Models and Multi-Agent Self-Correction [17.527470001317685]
  本研究では,コンパクトな小言語モデル (SLM) を制御推論のために再訓練し,検証器誘導補正ループに組み込むことができるかを検討する。 ランダム化熱制御シミュレーション(それぞれ500段の30の実験)では、平均的なアクションアライメント精度が91.5%に達する。 シンボリック・リマッピングの下では95%のインレンジレートを維持しており、トークンレベルの合意が減ったにもかかわらず、堅牢な物理的規制を示している。
  論文  参考訳（メタデータ） (2026-06-24T13:49:01Z)
• Trace2Policy: From Expert Behavior Traces to Self-Evolving Decision Agents [5.689042186242701]
  企業の専門家が暗黙的に適用する決定ルールは、反復的エラー分析によって体系的に回復し、改善することができる。 基本機構は textbfEISR である textbfTrace2Policy について述べる。 各ラウンドは検証セット上でルールを実行し、ルート原因によるエラーをMISSING、WRONG、CONFLICTタイプにクラスタし、ターゲットパッチを適用し、レグレッションゲートを通過するもののみをコミットする。
  論文  参考訳（メタデータ） (2026-06-09T06:05:29Z)
• TTT-VLA: Test-Time Latent Prompt Optimization for Vision-Language-Action Models [49.463896453707065]
  VLA(Vision-Language-Action)モデルは目覚ましい進歩を遂げているが、展開時の分散シフトには弱いままである。 近年のVLAモデルは、プロンプトが政策行動の効率的なインターフェースとして機能することを示唆しているが、既存のプロンプトベースのステアリングは通常、外部ガイダンスに依存している。 VLAのテストタイムトレーニング(TTT)は、プロンプトの最適化によって実現可能か? 我々は、遅延プロンプト最適化(LPO)に基づくテスト時間トレーニングフレームワークであるTTT-VLAでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-06-02T04:10:39Z)
• Prompt Codebooks: Discrete Compositional Optimization for Language Model Instruction Refinement [10.441136483320205]
  本稿では,新しい合成プロンプト最適化フレームワークであるPrompt Codebooksを提案する。 これは、APOを自然言語本能の有限語彙上の離散学習であると再認識する。 ゼロショット以上は+30.36ポイントまで改善され、HotpotQAでは+3.34、アグリゲートでは+1.11で最強のベースライン(GEPA)を超える。
  論文  参考訳（メタデータ） (2026-05-27T11:57:12Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Activation Steering for Aligned Open-ended Generation without Sacrificing Coherence [16.403654360036498]
  ミスアライメントは、敵対的なプロンプト、良心的な微調整、創発的なミスアライメント、目標のミスジェネレーションによって引き起こされる。 最近の証拠は、いくつかの不整合挙動が活性化空間の線形構造としてコード化され、操舵によって牽引可能であることを示唆している。 これらの知見は, 世代ごとのアクティベーションの不一致を継続的に補正する軽量なランタイムディフェンスとして, アクティベーションステアリングを動機付けている。
  論文  参考訳（メタデータ） (2026-04-09T12:28:22Z)
• Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
  直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。 DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。 この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。 DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
  論文  参考訳（メタデータ） (2026-02-12T12:55:51Z)
• Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection [52.551864761088574]
  大規模言語モデル(LLM)は、しばしばアライメント税を課す。 この税は、主に連続的な順序で学習スタイルを忘れることから生じると我々は主張する。 我々は, 塑性と安定性のバランスをとるために, OGPSA (Orthogonal Gradient Projection for Safety Alignment) を提案する。
  論文  参考訳（メタデータ） (2026-02-08T09:53:46Z)
• Natural Language Instructions for Scene-Responsive Human-in-the-Loop Motion Planning in Autonomous Driving using Vision-Language-Action Models [2.2727733134290813]
  doScenesは、noScenesのグラウンドトゥルースモーションにフリーフォーム命令をリンクする最初の実世界のデータセットである。 オープンソースMLLMベースのエンドツーエンド駆動フレームワークであるOpenEMMAを採用しています。 我々は、doScenesディレクティブを乗客スタイルのプロンプトとしてOpenEMMAのビジョン言語インタフェースに統合する。
  論文  参考訳（メタデータ） (2026-02-04T03:44:56Z)
• YaPO: Learnable Sparse Activation Steering Vectors for Domain Adaptation [56.35317441010461]
  しかし、もう一つのポリシー最適化 (YaPO) は、スパースオートエンコーダの潜在空間におけるテキストスパースステアリングベクトルを学習する、テキスト参照のない手法である。 スパース符号を最適化することにより、YaPOは、絡み合った、解釈可能な、効率的な操舵方向を生成する。 また,YaPOはより高速に収束し,より優れた性能を示し,高密度ステアリングベースラインに比べてトレーニング安定性が向上することを示した。
  論文  参考訳（メタデータ） (2026-01-13T11:10:13Z)
• Executable Governance for AI: Translating Policies into Rules Using LLMs [1.388831902854619]
  Policy-to-Tests(P2T)は、自然ポリシー文書を正規化された機械可読ルールに変換するフレームワークである。 フレームワークを単一のポリシーを超えてテストするために、一般的なフレームワーク、セクターガイダンス、エンタープライズ標準に適用します。 これらのAI生成ルールは、スパンレベルとルールレベルのメトリクスに関する強力な人間のベースラインと密接に一致し、ゴールドセットに関するロバストなアノテータ間の合意がある。
  論文  参考訳（メタデータ） (2025-12-04T03:11:54Z)
• Reasoning Up the Instruction Ladder for Controllable Language Models [26.068755167791505]
  大規模言語モデル(LLM)に基づくシステムは、現実世界の意思決定において高い役割を担っている。 LLMの信頼性と制御性には,命令階層(IH)の強化が重要である。 本研究では,命令階層分解を推論タスクとして再設計する。
  論文  参考訳（メタデータ） (2025-10-30T22:13:31Z)
• ADPO: Anchored Direct Preference Optimization [0.0]
  本稿では、選好学習をソフトリスト管理に拡張するフレームワークであるAnchored Direct Preference Optimization (ADPO)を紹介する。 動的アンカーはノイズ下でのオンライン探索を改善する一方、固定アンカーはオフライン蒸留時に優れる。
  論文  参考訳（メタデータ） (2025-10-21T05:53:13Z)
• The Atomic Instruction Gap: Instruction-Tuned LLMs Struggle with Simple, Self-Contained Directives [7.085868567930685]
  Instruction-tuned large language model (IT-LLM) は強いゼロショット推論を示す。 MMLUとMMLU-Proのベンチマークを用いて20個のIT-LLMを評価した。
  論文  参考訳（メタデータ） (2025-10-20T10:26:26Z)
• UniAPL: A Unified Adversarial Preference Learning Framework for Instruct-Following [12.924923059340395]
  トレーニング後のアライメントは基本的には、参照学習の統一的な問題である、と我々は主張する。 UniAPLは、SFTと嗜好データの混合バッチから共同で学習する、単一段階の統合トレーニング目標を実装している。
  論文  参考訳（メタデータ） (2025-09-29T17:53:09Z)
• Instructional Segment Embedding: Improving LLM Safety with Instruction Hierarchy [53.54777131440989]
  LLM(Large Language Models)は、セキュリティや安全性の脅威を受けやすい言語である。 これらの脆弱性の大きな原因の1つは、命令階層の欠如である。 本稿では,BERTにインスパイアされた命令セグメント埋め込み(ISE)技法を,現代の大規模言語モデルに導入する。
  論文  参考訳（メタデータ） (2024-10-09T12:52:41Z)
• Contrastive Instruction Tuning [61.97704869248903]
  意味論的に等価な命令-インスタンスペア間の類似性を最大化するために、コントラスト命令チューニングを提案する。 PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
  論文  参考訳（メタデータ） (2024-02-17T00:09:32Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。