論文の概要: Self-Alignment of Large Language Models via Monopolylogue-based Social Scene Simulation

• arxiv url: http://arxiv.org/abs/2402.05699v1
• Date: Thu, 8 Feb 2024 14:21:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 14:56:23.585391
• Title: Self-Alignment of Large Language Models via Monopolylogue-based Social Scene Simulation
• Title（参考訳）: 対話型ソーシャルシーンシミュレーションによる大規模言語モデルの自己アライメント
• Authors: Xianghe Pang, Shuo Tang, Rui Ye, Yuxin Xiong, Bolun Zhang, Yanfeng Wang, Siheng Chen
• Abstract要約: MATRIXはユーザの入力クエリ周辺の現実的なシーンをエミュレートする新しいソーシャルシーンシミュレータである。 推論速度を損なうことなく,MATRIX で LLM を微調整し,人間の値への付着性を確保する。 調整した13BサイズのLCMは、人間の値に合わせるとGPT-4を超えます。
• 参考スコア（独自算出の注目度）: 46.11547254853924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning large language models (LLMs) with human values is imperative to mitigate potential adverse effects resulting from their misuse. Drawing from the sociological insight that acknowledging all parties' concerns is a key factor in shaping human values, this paper proposes a novel direction to align LLMs by themselves: social scene simulation. To achieve this, we present MATRIX, a novel social scene simulator that emulates realistic scenes around a user's input query, enabling the LLM to take social consequences into account before responding. MATRIX serves as a virtual rehearsal space, akin to a Monopolylogue, where the LLM performs diverse roles related to the query and practice by itself. To inject this alignment, we fine-tune the LLM with MATRIX-simulated data, ensuring adherence to human values without compromising inference speed. We theoretically show that the LLM with MATRIX outperforms Constitutional AI under mild assumptions. Finally, extensive experiments validate that our method outperforms over 10 baselines across 4 benchmarks. As evidenced by 875 user ratings, our tuned 13B-size LLM exceeds GPT-4 in aligning with human values. Code is available at https://github.com/pangxianghe/MATRIX.
• Abstract（参考訳）: 人的価値を持つ大きな言語モデル(LLM)の調整は、その誤用による潜在的な副作用を軽減するために不可欠である。 本論文は,すべての当事者の関心を社会学的に理解することが,人的価値形成の鍵となる要因であるとする考察から,LLMを自己で整合させる新たな方向性である社会シーンシミュレーションを提案する。 そこで本研究では,ユーザの入力クエリ周辺の現実的シーンをエミュレートする新しいソーシャルシーンシミュレータであるmatrixを提案する。 MATRIXはMonopolylogueに似た仮想リハーサル空間として機能し、LCMはクエリと実践に関するさまざまな役割をそれ自体で実行する。 このアライメントを注入するために,MATRIXシミュレーションデータを用いてLLMを微調整し,推論速度を損なうことなく人間の値への付着を確保する。 理論的には、MATRIXを用いたLLMは、軽微な仮定で構成AIよりも優れていることを示す。 最後に、我々の手法が4つのベンチマークで10以上のベースラインより優れていることを検証する。 875のユーザレーティングで証明されたように、チューニングされた13bサイズのllmは、人間の値に合わせるとgpt-4を超えます。 コードはhttps://github.com/pangxianghe/MATRIXで入手できる。

関連論文リスト

• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• Real or Robotic? Assessing Whether LLMs Accurately Simulate Qualities of Human Responses in Dialogue [25.89926022671521]
  我々はWildChatデータセットから10万対のLLM-LLMと人間-LLM対話の大規模データセットを生成する。 シミュレーションと人間のインタラクションの間には比較的低いアライメントが見られ、複数のテキストの性質に沿って体系的な相違が示される。
  論文  参考訳（メタデータ） (2024-09-12T18:00:18Z)
• Agentic Society: Merging skeleton from real world and texture from Large Language Model [4.740886789811429]
  本稿では,人口統計データと大規模言語モデルを利用して仮想人口を生成する新しい枠組みについて検討する。 本手法は,社会科学実験において,多様な人間の行動のシミュレーションに不可欠な多様性のあるペルソナを生産することを示す。 しかし, 評価結果から, 現在のLSMの能力に限界があるため, 統計的真理性の弱い兆候しか得られないことが示唆された。
  論文  参考訳（メタデータ） (2024-09-02T08:28:19Z)
• Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
  大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である 我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。 テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
  論文  参考訳（メタデータ） (2024-04-01T06:01:17Z)
• Is this the real life? Is this just fantasy? The Misleading Success of Simulating Social Interactions With LLMs [24.613282867543244]
  大規模言語モデル(LLM)はより豊かな社会シミュレーションを可能にし、様々な社会現象の研究を可能にしている。 最近の研究は、これらのシミュレーションについて、人間とAIエージェントが現実世界で関与する不完全で情報非対称な相互作用と、基本的には異なっています。
  論文  参考訳（メタデータ） (2024-03-08T03:49:17Z)
• Human-Instruction-Free LLM Self-Alignment with Limited Samples [64.69906311787055]
  本研究では,人間の関与なしに,大規模言語モデル(LLM)を反復的に自己調整するアルゴリズムを提案する。 既存の研究と異なり、我々のアルゴリズムは人造指示にも報酬にも依存せず、人間の関与を著しく減らしている。 提案手法は,LLMの自己一般化能力を解き明かし,ほぼゼロに近い人的監督と整合性を持たせることができることを示す。
  論文  参考訳（メタデータ） (2024-01-06T14:00:12Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• CoMPosT: Characterizing and Evaluating Caricature in LLM Simulations [61.9212914612875]
  本研究では,LLMシミュレーションを4次元(コンテキスト,モデル,ペルソナ,トピック)で特徴付けるフレームワークを提案する。 我々は,この枠組みを用いて,オープンエンドLLMシミュレーションのキャラクチュアへの感受性を測定する。 GPT-4では、特定の人口動態(政治的・疎外化グループ)と話題(一般には非論争的)のシミュレーションは、似顔絵に非常に敏感であることが判明した。
  論文  参考訳（メタデータ） (2023-10-17T18:00:25Z)
• Can Large Language Models Transform Computational Social Science? [79.62471267510963]
  大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2023-04-12T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。