論文の概要: Reinforcement learning for question answering in programming domain using public community scoring as a human feedback

• arxiv url: http://arxiv.org/abs/2401.10882v1
• Date: Fri, 19 Jan 2024 18:49:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 14:58:11.952383
• Title: Reinforcement learning for question answering in programming domain using public community scoring as a human feedback
• Title（参考訳）: 人的フィードバックとしてのコミュニティスコアを用いたプログラミング領域における質問応答のための強化学習
• Authors: Alexey Gorbatovski and Sergey Kovalchuk
• Abstract要約: 本稿では,CQA(Community Question Answering)におけるGPT Neo 125Mの性能向上について検討する。 PPO(Proximal Policy Optimization)による微調整には2つの異なる報酬モデルトレーニング戦略が採用されている。 補助的なスコアリング機構を導入し、プログラミング領域における応答評価における従来の言語指標の限界を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we investigate the enhancement of the GPT Neo 125M performance in Community Question Answering (CQA) with a focus on programming, through the integration of Reinforcement Learning from Human Feedback (RLHF) and the utilization of scores from Stack Overflow. Two distinct reward model training strategies are employed for fine-tuning with Proximal Policy Optimization (PPO). Notably, the improvements in performance achieved through this method are comparable to those of GPT Neo 2.7B parameter variant. Additionally, an auxiliary scoring mechanism is introduced, which demonstrates the limitations of conventional linguistic metrics in evaluating responses in the programming domain. Through accurate analysis, this paper looks at the divergence between traditional linguistic metrics and our human-preferences-based reward model, underscoring the imperative for domain-specific evaluation methods. By elucidating the complexities involved in applying RLHF to programming CQA and accentuating the significance of context-aware evaluation, this study contributes to the ongoing efforts in refining Large Language Models through focused human feedback.
• Abstract（参考訳）: 本研究では,コミュニティ質問応答(cqa)におけるgpt neo 125mのパフォーマンス向上について,人的フィードバック(rlhf)からの強化学習の統合とスタックオーバーフローからのスコア活用を通して検討した。 PPO(Proximal Policy Optimization)による微調整には、2つの異なる報酬モデルトレーニング戦略が採用されている。 特に、この手法による性能改善は、GPT Neo 2.7Bパラメータの変種に匹敵するものである。 さらに補助的なスコアリング機構を導入し、プログラミング領域における応答評価における従来の言語指標の限界を示す。 本稿では, 従来の言語指標と人間関係に基づく報酬モデルとの相違について, ドメイン特化評価手法の意義を強調する。 プログラムCQAにRLHFを適用することに関わる複雑さを解明し、文脈認識評価の重要性を強調することにより、焦点を絞った人間のフィードバックを通じて大規模言語モデルを改善するための継続的な取り組みに寄与する。

関連論文リスト

• Low-Rank Contextual Reinforcement Learning from Heterogeneous Human Feedback [12.373566593905792]
  人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデルと人間の嗜好を整合させる基盤となっている。 我々は、文脈情報を統合した低ランク文脈RLHFフレームワークを提案し、異種フィードバックをより良くモデル化する。 提案手法は,ユーザコンテキストと問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ/問合せ-問合せ-問合せ-問合せ-問合せ間の相互作用の,本質的に低ランクな構造を利用した文脈選好モデルに基づく。
  論文  参考訳（メタデータ） (2024-12-27T04:02:46Z)
• NLP and Education: using semantic similarity to evaluate filled gaps in a large-scale Cloze test in the classroom [0.0]
  ブラジルの学生を対象にしたクローゼテストのデータを用いて,ブラジルポルトガル語(PT-BR)のWEモデルを用いて意味的類似度を測定した。 WEモデルのスコアと審査員の評価を比較した結果,GloVeが最も効果的なモデルであることが判明した。
  論文  参考訳（メタデータ） (2024-11-02T15:22:26Z)
• RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs [49.386699863989335]
  大きな言語モデル(LLM)を訓練し、人間の効果的なアシスタントとして機能させるには、慎重に検討する必要がある。 有望なアプローチとして、人間からのフィードバック(RLHF)からの強化学習がある。 本稿では、強化学習原理のレンズを通してRLHFを分析し、その基礎を理解する。
  論文  参考訳（メタデータ） (2024-04-12T15:54:15Z)
• HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context Learning in Factuality Evaluation [20.178644251662316]
  本稿では,文脈内学習における関連する文節の検索を促進するために,階層的思考グラフ(HGOT)を導入する。 このフレームワークは、複雑なクエリを管理可能なサブクエリに分割する、分割/クエリ戦略を採用している。 それは、最近提案された引用リコールと精度の指標を取り入れた、回答の選択のための自己一貫性の過半数投票を洗練する。
  論文  参考訳（メタデータ） (2024-02-14T18:41:19Z)
• Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
  本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。 まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。 問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
  論文  参考訳（メタデータ） (2024-01-23T16:07:43Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Harnessing the Power of Large Language Models for Empathetic Response Generation: Empirical Investigations and Improvements [28.630542719519855]
  本研究では,大規模言語モデル(LLM)の共感応答生成における性能について実験的に検討する。 大規模な実験により, LLMは提案手法の利点を大いに生かし, 自動評価と人的評価の両方で最先端の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-10-08T12:21:24Z)
• Hierarchical Evaluation Framework: Best Practices for Human Evaluation [17.91641890651225]
  NLPハマーにおける広く受け入れられている評価基準の欠如は、異なるシステム間での公正な比較と、普遍的な評価基準の確立である。 我々は,NLPシステムの性能をより包括的に表現するための,独自の階層的評価フレームワークを開発した。 今後の課題として,NLPシステムの評価を行う上で,提案するフレームワークの時間節約効果について検討する。
  論文  参考訳（メタデータ） (2023-10-03T09:46:02Z)
• Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
  大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。 人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。 本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-07-11T01:55:24Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。