Fugu-MT 論文翻訳(概要): Mapping Social Choice Theory to RLHF

論文の概要: Mapping Social Choice Theory to RLHF

arxiv url: http://arxiv.org/abs/2404.13038v1
Date: Fri, 19 Apr 2024 17:49:56 GMT
ステータス: 処理完了
システム内更新日: 2024-04-22 14:16:48.951572
Title: Mapping Social Choice Theory to RLHF
Title（参考訳）: 社会選択論をRLHFにマッピングする
Authors: Jessica Dai, Eve Fleisig,
Abstract要約: 社会的選択論の投票機構のような設定の分析は、不一致の中で人間の嗜好を集約する方法を伝える技術基盤を提供する。我々は、社会的選択とRLHFの問題設定を分析し、それらの重要な違いを特定し、これらの違いが社会的選択におけるよく知られた技術的結果のRLHF解釈にどのように影響するかを議論する。
参考スコア（独自算出の注目度）: 1.688134675717698
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work on the limitations of using reinforcement learning from human feedback (RLHF) to incorporate human preferences into model behavior often raises social choice theory as a reference point. Social choice theory's analysis of settings such as voting mechanisms provides technical infrastructure that can inform how to aggregate human preferences amid disagreement. We analyze the problem settings of social choice and RLHF, identify key differences between them, and discuss how these differences may affect the RLHF interpretation of well-known technical results in social choice.
Abstract（参考訳）: 近年、人間からのフィードバック(RLHF)による強化学習をモデル行動に組み込むことの限界が社会選択理論を基準点として提起している。社会的選択論の投票機構のような設定の分析は、不一致の中で人間の嗜好を集約する方法を伝える技術基盤を提供する。我々は、社会的選択とRLHFの問題設定を分析し、それらの重要な違いを特定し、これらの違いが社会的選択におけるよく知られた技術的結果のRLHF解釈にどのように影響するかを議論する。

関連論文リスト

Representative Social Choice: From Learning Theory to AI Alignment [0.0]
代表的な社会的選択において、人口は、どの社会的選択決定が下されるかに基づいて、個々の課題のペアの有限のサンプルによって代表される。代表的社会的選択における最も深い質問の多くは、統計的学習問題として自然に定式化できることを示す。我々はさらに、社会選択の代表を定式化し、Arrowのような公理を一般化分析の新しいツールで証明する。
論文参考訳（メタデータ） (2024-10-31T14:07:26Z)
RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs [49.386699863989335]
大きな言語モデル(LLM)を訓練し、人間の効果的なアシスタントとして機能させるには、慎重に検討する必要がある。有望なアプローチとして、人間からのフィードバック(RLHF)からの強化学習がある。本稿では、強化学習原理のレンズを通してRLHFを分析し、その基礎を理解する。
論文参考訳（メタデータ） (2024-04-12T15:54:15Z)
Provable Multi-Party Reinforcement Learning with Diverse Human Feedback [63.830731470186855]
RLHF(Reinforcement Learning with Human feedback)は、モデルと人間の好みを結びつける新しいパラダイムである。一つの報酬関数を学習しても、複数の個人の好みを捉えバランスが取れないので、従来のRLHFアプローチが失敗する可能性があることを示す。メタラーニングを取り入れて、複数の嗜好を学習し、異なる社会福祉機能を採用して、複数のパーティにまたがる嗜好を集約する。
論文参考訳（メタデータ） (2024-03-08T03:05:11Z)
MaxMin-RLHF: Towards Equitable Alignment of Large Language Models with Diverse Human Preferences [101.57443597426374]
Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
論文参考訳（メタデータ） (2024-02-14T03:56:27Z)
Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-12-18T18:58:42Z)
Self-supervised Hypergraph Representation Learning for Sociological Analysis [52.514283292498405]
本稿では,データマイニング技術と社会学的行動基準のさらなる融合を支援するための基本的な方法論を提案する。まず,効率的なハイパーグラフ認識と高速グラフ構築フレームワークを提案する。第2に,ユーザからユーザへのソーシャルインフルエンスを学習するためのハイパーグラフベースニューラルネットワークを提案する。
論文参考訳（メタデータ） (2022-12-22T01:20:29Z)
Learning from Heterogeneous Data Based on Social Interactions over Graphs [58.34060409467834]
本研究では,個別のエージェントが異なる次元のストリーミング特徴を観察しながら分類問題の解決を目指す分散アーキテクチャを提案する。私たちはそれを示します。戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。私たちはそれを示します。戦略により、エージェントはこの高度に異質な環境下で一貫して学習することができる。
論文参考訳（メタデータ） (2021-12-17T12:47:18Z)
Towards a Better Understanding of Social Acceptability [28.727916976371265]
社会的文脈は、テクノロジーの受容と利用を理解する上で重要な役割を果たす。文脈的影響を記述するための現在のアプローチは、それを適切に捉えていない。社会実践論に基づくアプローチを提案する。
論文参考訳（メタデータ） (2021-03-02T10:59:17Z)
Social Choice with Changing Preferences: Representation Theorems and Long-Run Policies [0.0]
社会的選択論からの表現定理が最適政策を特徴づけるためにどのように適応できるかを示す。本稿では,社会選択論の功利主義的社会福祉機能に適合するMDP報酬関数の公理的特性について述べる。
論文参考訳（メタデータ） (2020-11-04T21:21:04Z)
Theory In, Theory Out: The uses of social theory in machine learning for social science [3.180013942295509]
機械学習パイプラインの各段階で生じる基本的な方法論的および解釈的疑問に、社会理論がどのように答えられるかを示す。本論文は,機械学習のツールをソーシャルデータに適用する際の現実的な疑問を,コンピュータや社会科学者のガイドとして扱うことができると考えている。
論文参考訳（メタデータ） (2020-01-09T20:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。