論文の概要: Successive Training Stages and Large Language Model Persuasion: Effects of Misalignment, Supervised Fine-Tuning, and Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.09964v1
• Date: Wed, 07 Oct 2026 12:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.906379
• Title: Successive Training Stages and Large Language Model Persuasion: Effects of Misalignment, Supervised Fine-Tuning, and Preference Optimization
• Title（参考訳）: 逐次学習段階と大規模言語モデルの説得:誤調整、修正された微調整、優先最適化の効果
• Abstract要約: 大きな言語モデル(LLM)は人間の態度に影響を与えるように調整することができる。 本研究は,3段階連続訓練がLSM説得性に与える影響について検討した。
• 参考スコア（独自算出の注目度）: 0.05592394503914488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can be tuned to influence human attitudes, yet the respective contributions of successive post-training stages remain un-clear. This study examines how three successive training stages affect LLM persuasiveness: (1) misalignment through supervised fine-tuning (SFT) on conspiracy data, (2) additional persuasive SFT on argumentative data, and (3) Identity Preference Optimization (IPO), a preference-optimization method. A total of 835 participants recruited on Prolific were randomly assigned to five between-subject conditions (neutral text, conspiracy-trained model, persuasion-trained model, preference-optimized model, and GPT-4) and were exposed to texts on 10 divisive political issues, personalized from their individual profiles in all model conditions. Attitude change was measured as the difference between pre- and post-exposure positions on continuous Likert scales and analyzed with an analysis of covariance (ANCOVA). A significant condition x baseline-attitude interaction, F (4, 825) = 5.33, p < .001, indicated that training effects depended on participants' initial attitudes. Persuasive SFT produced greater attitude change than conspiracy training alone, d = 0.30, whereas IPO provided no additional benefit, d = 0.03, and GPT-4 did not differ from neutral text, d = --0.01. These results show that targeted supervised training on persuasive data increases LLM persuasiveness, whereas preference optimization yields no significant gains beyond it.
• Abstract（参考訳）: 大規模言語モデル(LLM)は人間の態度に影響を与えるように調整できるが、連続した訓練後の段階の貢献は明確ではない。 本研究では,(1)陰謀データに対する教師付き微調整(SFT)によるミスアライメント,(2)議論データに対する追加の説得的SFT,(3)優先最適化手法であるアイデンティティ優先最適化(IPO)の3つの段階がLCMの説得性に与える影響について検討する。 Prolificで採用した参加者は,5つの対象条件(中性テキスト,共謀訓練モデル,説得訓練モデル,嗜好最適化モデル,GPT-4)にランダムに割り振られ,すべてのモデル条件において個人プロファイルから個人化された10の政治的問題に関するテキストに露出した。 姿勢変化は, 連続したヨールトスケールにおける露光前位置と露光後位置の差として測定され, 共分散解析(ANCOVA)を用いて解析した。 A significant condition x baseline-attitude interaction, F (4, 825) = 5.33, p < .001。 説得力のあるSFTは共謀訓練単独よりも大きな態度変化をもたらし、d = 0.30、IPOは追加の利益を与えなかったが、d = 0.03、GPT-4は中立的なテキストであるd = --0.01と変わらなかった。 これらの結果から,説得力のあるデータに対する教師あり学習はLLMの説得力を増大させる一方,選好最適化はそれを超える有意な利益をもたらすことが示唆された。

関連論文リスト

• Personalized Fall Detection by Balancing Data with Selective Feedback Using Contrastive Learning [3.579200789027982]
  本稿では,半教師付きクラスタリングとコントラスト学習を組み合わせたパーソナライズフレームワークを提案する。 このフレームワークは、TFS(Training from Scratch)、TL(Transfer Learning)、FewShot Learning(FewShot Learning)の3つの再トレーニング戦略に基づいて評価されている。
  論文  参考訳（メタデータ） (2026-03-17T21:22:21Z)
• Operationalizing Pluralistic Values in Large Language Model Alignment Reveals Trade-offs in Safety, Inclusivity, and Model Behavior [9.90941081429899]
  大規模言語モデル(LLM)は、人間の価値観の安全性と整合性のために人間のフィードバックを用いて、ますます訓練されている。 本研究では,複数値の組み込みがLLMの挙動にどう影響するかを,アライメントパイプラインにおける人口変動と設計パラメータを体系的に評価することによって検討する。
  論文  参考訳（メタデータ） (2025-11-18T13:14:42Z)
• The Thinking Therapist: Training Large Language Models to Deliver Acceptance and Commitment Therapy using Supervised Fine-Tuning and Odds Ratio Policy Optimization [0.0]
  アクセプタンス・アンド・コミット・セラピー(Acceptance and Commitment Therapy、ACT)は、認知行動療法の一種で、いくつかの精神疾患において効果の出現を示す。 本研究では,学習後方法論と明示的推論が小規模なオープンウェイト大規模言語モデル(LLM)のACT提供能力に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-09-08T02:30:12Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• Preference Curriculum: LLMs Should Always Be Pretrained on Their Preferred Data [19.221998577357713]
  大規模言語モデル(LLM)は一般に事前学習プロセスを通して一貫したデータ分布を利用する。 モデルの性能が向上するにつれて、データ嗜好が動的に変化するのは直感的であり、様々なトレーニング段階で異なるデータで事前トレーニングする必要があることを示している。 我々は、常にLLMが好むデータを認識し、活用し、それらをトレーニングし、強化するパープレキシティ・ディファレンス(PD)ベースのPreference Curriculum Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-21T13:12:13Z)
• TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
  本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。 TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-06T04:03:00Z)
• Evaluating Psychological Safety of Large Language Models [72.88260608425949]
  我々は,大規模言語モデル(LLM)の心理的安全性を評価するために,バイアスのないプロンプトを設計した。 短い暗黒トライアド(SD-3)とビッグファイブインベントリ(BFI)の2つのパーソナリティテストを用いて5種類のLDMを試験した。 毒性を減らすための安全基準を微調整したものの、InstructGPT, GPT-3.5, GPT-4は依然として暗い性格パターンを示した。 直接選好最適化を用いたBFIからの反応を微調整したLlama-2-chat-7Bは、モデルの心理的毒性を効果的に低減する。
  論文  参考訳（メタデータ） (2022-12-20T18:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。