論文の概要: Alignment and Safety in Large Language Models: Safety Mechanisms, Training Paradigms, and Emerging Challenges

• arxiv url: http://arxiv.org/abs/2507.19672v1
• Date: Fri, 25 Jul 2025 20:52:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:55.887763
• Title: Alignment and Safety in Large Language Models: Safety Mechanisms, Training Paradigms, and Emerging Challenges
• Title（参考訳）: 大規模言語モデルにおけるアライメントと安全性:安全メカニズム、訓練パラダイム、創発的課題
• Authors: Haoran Lu, Luyang Fang, Ruidong Zhang, Xinliang Li, Jiazhang Cai, Huimin Cheng, Lin Tang, Ziyu Liu, Zeliang Sun, Tao Wang, Yingchuan Zhang, Arif Hassan Zidan, Jinwen Xu, Jincheng Yu, Meizhi Yu, Hanqi Jiang, Xilin Gong, Weidi Luo, Bolun Sun, Yongkai Chen, Terry Ma, Shushan Wu, Yifan Zhou, Junhao Chen, Haotian Xiang, Jing Zhang, Afrar Jahin, Wei Ruan, Ke Deng, Yi Pan, Peilong Wang, Jiahui Li, Zhengliang Liu, Lu Zhang, Lin Zhao, Wei Liu, Dajiang Zhu, Xin Xing, Fei Dou, Wei Zhang, Chao Huang, Rongjie Liu, Mengrui Zhang, Yiwen Liu, Xiaoxiao Sun, Qin Lu, Zhen Xiang, Wenxuan Zhong, Tianming Liu, Ping Ma,
• Abstract要約: 本調査では,大規模言語モデル(LLM)アライメントにおけるアライメント手法,トレーニングプロトコル,経験的発見について概観する。 我々は多種多様なパラダイムをまたいだアライメント手法の開発を分析し、コアアライメント目標間の基本的なトレードオフを特徴づける。 我々は、直接選好最適化(DPO)、構成AI、脳インスパイアされた方法、アライメント不確実性定量化(AUQ)など、最先端技術について議論する。
• 参考スコア（独自算出の注目度）: 47.14342587731284
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Due to the remarkable capabilities and growing impact of large language models (LLMs), they have been deeply integrated into many aspects of society. Thus, ensuring their alignment with human values and intentions has emerged as a critical challenge. This survey provides a comprehensive overview of practical alignment techniques, training protocols, and empirical findings in LLM alignment. We analyze the development of alignment methods across diverse paradigms, characterizing the fundamental trade-offs between core alignment objectives. Our analysis shows that while supervised fine-tuning enables basic instruction-following, preference-based methods offer more flexibility for aligning with nuanced human intent. We discuss state-of-the-art techniques, including Direct Preference Optimization (DPO), Constitutional AI, brain-inspired methods, and alignment uncertainty quantification (AUQ), highlighting their approaches to balancing quality and efficiency. We review existing evaluation frameworks and benchmarking datasets, emphasizing limitations such as reward misspecification, distributional robustness, and scalable oversight. We summarize strategies adopted by leading AI labs to illustrate the current state of practice. We conclude by outlining open problems in oversight, value pluralism, robustness, and continuous alignment. This survey aims to inform both researchers and practitioners navigating the evolving landscape of LLM alignment.
• Abstract（参考訳）: 大規模言語モデル(LLM)の顕著な能力と増大する影響により、それらは社会の多くの側面に深く統合されている。 このように、人間の価値観や意図との整合性を確保することが、重要な課題となっている。 本調査は, LLMアライメントにおける実践的アライメント技術, トレーニングプロトコル, 経験的発見について概観する。 我々は多種多様なパラダイムをまたいだアライメント手法の開発を分析し、コアアライメント目標間の基本的なトレードオフを特徴づける。 分析の結果,教師付き微調整は基本的な指示追従を可能にするが,嗜好に基づく手法は人間の意図と調和する柔軟性が向上することがわかった。 我々は、DPO(Direct Preference Optimization)、コンスティチューションAI(Constitutional AI)、ブレインインスパイアされた方法、アライメント不確実性定量化(AUQ)など、最先端技術について議論し、品質と効率のバランスをとるアプローチを強調した。 我々は、既存の評価フレームワークとベンチマークデータセットをレビューし、報酬の特定、分散ロバスト性、スケーラブルな監視といった制限を強調した。 私たちは、主要なAIラボが採用する戦略を要約して、現在の実践状況を説明します。 我々は、監視、価値の多元性、堅牢性、継続的なアライメントにおけるオープンな問題を概説して結論付ける。 この調査は、LLMアライメントの進化する風景をナビゲートする研究者と実践者の両方に通知することを目的としている。

関連論文リスト

• Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Opportunities [62.05713042908654]
  本稿では,逆強化学習(IRL)のレンズによる大規模言語モデル(LLM)のアライメントの進歩について概観する。 我々は、人間のデータからニューラル報酬モデルを構築する必要性を強調し、このパラダイムシフトの形式的および実践的意味について議論する。
  論文  参考訳（メタデータ） (2025-07-17T14:22:24Z)
• Adversarial Testing in LLMs: Insights into Decision-Making Vulnerabilities [5.0778942095543576]
  本稿では,大規模言語モデルの意思決定過程を体系的にストレステストする逆評価フレームワークを提案する。 我々は、GPT-3.5、GPT-4、Gemini-1.5、DeepSeek-V3など、最先端のLLMに適用する。 我々の研究は、モデル間で異なる行動パターンを強調し、信頼できるAIデプロイメントにおける適応性と公平性認識の重要性を強調した。
  論文  参考訳（メタデータ） (2025-05-19T14:50:44Z)
• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
  推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。 大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。 本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
  論文  参考訳（メタデータ） (2025-04-04T04:04:56Z)
• Large Language Models Post-training: Surveying Techniques from Alignment to Reasoning [185.51013463503946]
  大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。 これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。 本稿では,タスク固有の精度を向上するファインチューニング,倫理的コヒーレンスと人間の嗜好との整合性を保証するアライメント,報酬設計の課題によらず多段階の推論を進める推論,統合と適応の5つのパラダイムを体系的に追跡したPoLMの総合的な調査について述べる。
  論文  参考訳（メタデータ） (2025-03-08T05:41:42Z)
• A Unified Understanding and Evaluation of Steering Methods [17.420727709895736]
  ステアリング法は、中間活性化にステアリングベクトルを適用することにより、大きな言語モデルを制御するための実践的なアプローチを提供する。 その重要性は増しているが、この分野には、タスクやデータセット間で統一された理解と一貫した評価が欠けている。 本稿では, ステアリング手法を解析・評価し, 基本原理を定式化し, 有効性に関する理論的知見を提供する統一的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-02-04T20:55:24Z)
• Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
  大きな言語モデル(LLM)は、非常に強力な能力を示す。 成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。 選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-09-04T15:11:55Z)
• Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence [5.147767778946168]
  我々は、23の最先端のLarge Language Models (LLMs)ベンチマークを批判的に評価する。 私たちの研究は、バイアス、真の推論、適応性、実装の不整合、エンジニアリングの複雑さ、多様性、文化的およびイデオロギー規範の見落としなど、重大な制限を明らかにしました。
  論文  参考訳（メタデータ） (2024-02-15T11:08:10Z)
• A Survey of Contextual Optimization Methods for Decision Making under Uncertainty [47.73071218563257]
  この記事では、データからポリシーを学ぶための3つの主要なフレームワークを特定し、その強みと限界について論じる。 統一的な表記と用語の下で既存のモデルとメソッドを示し、これらを3つの主要なフレームワークに従って分類する。
  論文  参考訳（メタデータ） (2023-06-17T15:21:02Z)
• Methodological reflections for AI alignment research using human feedback [0.0]
  AIアライメントは、AI技術が人間の関心や価値観、機能と安全で倫理的な方法で一致しているかどうかを調査することを目的としている。 LLMは、予測が難しい方法で学習し、適応する能力があるため、意図しない行動を示す可能性がある。
  論文  参考訳（メタデータ） (2022-12-22T14:27:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。