論文の概要: TriAlign: Towards Universal Truth Consistency in Personalized LLM Alignment

• arxiv url: http://arxiv.org/abs/2606.01755v1
• Date: Mon, 01 Jun 2026 06:19:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.413385
• Title: TriAlign: Towards Universal Truth Consistency in Personalized LLM Alignment
• Title（参考訳）: TriAlign:パーソナライズされたLLMアライメントにおける普遍的真実整合性を目指して
• Authors: Thi-Nhung Nguyen, Linhao Luo, Rollin Omari, Junae Kim, Thuy-Trang Vu, Dinh Phung,
• Abstract要約: 我々は、パーソナライゼーションを保ちながら、社会集団間で普遍的な真理が一貫していることを保証するために、真理不変アライメント(TIA)について研究する。 TIAのための初のオフラインマルチエージェント強化学習フレームワークであるTriAlignを提案する。
• 参考スコア（独自算出の注目度）: 18.56348109390815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized large language models adapt responses to users' preferences and social attributes, but can introduce substantial universal truth inconsistencies across social groups, where some groups systematically receive less accurate responses on objective tasks. Existing alignment methods either ignore personalization or mainly focus on subjective preference alignment, largely overlooking fairness and consistency in universal truths. To address this gap, we study Truth-Invariant Alignment (TIA), an alignment problem for personalized LLMs that aims to ensure universal truths remain consistent across social groups while preserving personalization. We propose TriAlign, the first offline multi-agent reinforcement learning (MARL) framework for TIA, where each social group is modeled as an agent interacting. TriAlign jointly optimizes universal truth accuracy, cross-group truth consistency, and personalization through a fairness-aware objective and an explicit inconsistency penalty. Experiments across diverse benchmarks demonstrate that TriAlign achieves a stronger balance among these three objectives than strong baselines, reducing universal truth disparities across social groups while improving both objective task performance and personalization quality.
• Abstract（参考訳）: パーソナライズされた大規模言語モデルは、ユーザの嗜好や社会的属性に応答するが、社会グループ全体にわたって実質的な普遍的な真理の不整合を導入することができる。 既存のアライメント手法はパーソナライズを無視したり、主観的な選好アライメントに重点を置いている。 このギャップに対処するため,パーソナライズを保ちながら,社会的グループ間で普遍的な真理の一貫性を維持することを目的とした,パーソナライズされたLLMのアライメント問題であるTruth-Invariant Alignment(TIA)について検討した。 TIAのための最初のオフラインマルチエージェント強化学習(MARL)フレームワークであるTriAlignを提案する。 TriAlignは、公正を意識した目的と明確な矛盾したペナルティを通じて、普遍的な真理の正確さ、グループ間の真理の整合性、パーソナライゼーションを共同で最適化する。 多様なベンチマークによる実験により、TriAlignは、強いベースラインよりもこれらの3つの目標のバランスを保ち、社会的グループ間での普遍的な真理格差を減らし、客観的タスクのパフォーマンスとパーソナライズ品質の両方を改善していることが示された。

関連論文リスト

• Optimizing for Persuasion Improves LLM Generalization: Evidence from Quality-Diversity Evolution of Debate Strategies [1.6163129903911513]
  大規模言語モデル(LLM)は、真理に富んだ回答を出力するために最適化され、しばしば過度に適合し、一般化に失敗する不安定な推論を生み出す。 DebateQDは,様々なカテゴリにまたがる多様な議論戦略を進化させる,最小品質多様性(QD)進化アルゴリズムである。 提案手法は,真理最適化の試験性能に適合または超越しながら,最大で13.94%の列車-試験一般化ギャップを達成可能であることを示す。
  論文  参考訳（メタデータ） (2025-10-07T13:20:51Z)
• IROTE: Human-like Traits Elicitation of Large Language Model via In-Context Self-Reflective Optimization [66.6349183886101]
  IROTEは,安定かつ伝達可能な特性抽出のための新しいインコンテキスト手法である。 IROTEが生成する1つの自己反射は、様々な下流タスクにまたがる目標特性の安定な偽造を LLM が引き起こすことを示す。
  論文  参考訳（メタデータ） (2025-08-12T08:04:28Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
  人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。 既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。 制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
  論文  参考訳（メタデータ） (2024-02-29T12:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。