論文の概要: Evaluating the role of `Constitutions' for learning from AI feedback

• arxiv url: http://arxiv.org/abs/2411.10168v1
• Date: Fri, 15 Nov 2024 13:16:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:39:26.285489
• Title: Evaluating the role of `Constitutions' for learning from AI feedback
• Title（参考訳）: AIフィードバックからの学習における「施設」の役割の評価
• Authors: Saskia Redgate, Andrew M. Bean, Adam Mahdi,
• Abstract要約: コンスティチューションの選択がフィードバック品質にどのように影響するかを, 4つの異なるコンスティチューションを用いて検討する。 詳細な構成が、動機的品質に関するより良い結果をもたらすことがわかった。 しかし、情報収集・提供に関する実践的指向のスキルを習得する上で、どの憲法も基準を上回りませんでした。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The growing capabilities of large language models (LLMs) have led to their use as substitutes for human feedback for training and assessing other LLMs. These methods often rely on `constitutions', written guidelines which a critic model uses to provide feedback and improve generations. We investigate how the choice of constitution affects feedback quality by using four different constitutions to improve patient-centered communication in medical interviews. In pairwise comparisons conducted by 215 human raters, we found that detailed constitutions led to better results regarding emotive qualities. However, none of the constitutions outperformed the baseline in learning more practically-oriented skills related to information gathering and provision. Our findings indicate that while detailed constitutions should be prioritised, there are possible limitations to the effectiveness of AI feedback as a reward signal in certain areas.
• Abstract（参考訳）: 大きな言語モデル(LLM)の能力の増大は、人間のフィードバックの代用として他のLSMの訓練や評価に使われてきた。 これらの手法は、しばしば、批評家モデルがフィードバックを提供し、世代を改善するために使用するガイドラインである「構成」に依存している。 医療面接における患者中心のコミュニケーションを改善するために,4つの異なる構成を用いて,構成の選択がフィードバック品質にどのように影響するかを検討する。 215人のレイパーによるペア比較では、詳細な構成が動機的品質に関するより良い結果をもたらすことが判明した。 しかし、情報収集・提供に関する実践的指向のスキルを習得する上で、どの憲法も基準を上回りませんでした。 より詳細な構成を優先すべきである一方で,特定の領域における報酬信号としてのAIフィードバックの有効性には限界があることが示唆された。

関連論文リスト

• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• Inverse Constitutional AI: Compressing Preferences into Principles [37.28372419588119]
  Inverse Constitutional AI (ICAI) の問題に目を向ける。 ICAIでは、フィードバックと微調整AIモデルを提供するために一連の原則が使用される。 初期ICAIアルゴリズムを提案し,その構成を検証した。
  論文  参考訳（メタデータ） (2024-06-02T11:54:50Z)
• Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
  本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。 我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
  論文  参考訳（メタデータ） (2024-03-11T21:51:39Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• CDPAM: Contrastive learning for perceptual audio similarity [33.60921949631496]
  本稿ではDPAMをベースとしたCDPAMを紹介する。 より広い範囲の音声摂動に対する一般化を改善するために,三重項比較に関する人間の判断を収集する。 CDPAMは、9つの異なるデータセットにわたる人間の反応とよく相関する。
  論文  参考訳（メタデータ） (2021-02-09T20:15:29Z)
• Artificial Artificial Intelligence: Measuring Influence of AI 'Assessments' on Moral Decision-Making [48.66982301902923]
  ドナー腎アロケーションに関する道徳的意思決定に対する疑似AIからのフィードバックの効果を検討した。 患者が腎臓を受容器するかどうかの判断は、AIによって与えられると認識される参加者自身の意思決定に関するフィードバックに影響される可能性があるという証拠がいくつか見出された。
  論文  参考訳（メタデータ） (2020-01-13T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。