論文の概要: Analyzing Influential Factors in Human Preference Judgments via GPT-4
- arxiv url: http://arxiv.org/abs/2305.14702v1
- Date: Wed, 24 May 2023 04:13:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 20:00:48.019844
- Title: Analyzing Influential Factors in Human Preference Judgments via GPT-4
- Title(参考訳): gpt-4によるヒト嗜好判断における影響因子の解析
- Authors: Yebowen Hu, Kaiqiang Song, Sangwoo Cho, Xiaoyang Wang, Hassan Foroosh,
Fei Liu
- Abstract要約: 我々はOpenAIがリリースした対人的判断のデータセットを詳細に検討する。
人間の判断に影響を及ぼす可能性のある重要な要因を特定します。
我々の研究は、人間の判断に埋め込まれた本質的な嗜好を明らかにする。
- 参考スコア(独自算出の注目度): 20.001262963927996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pairwise human judgments are pivotal in guiding large language models (LLMs)
to generate outputs that align with human preferences. They are also often used
in summarization evaluation, complementing existing automatic metrics. Despite
their significance, however, there has been limited research probing these
pairwise human judgments. The collective impact and respective weights of
factors such as informativeness, coherence, fluency, and factual consistency
remain elusive. The impact of hidden factors on the final judgment is also
unclear. In this paper, we conduct an in-depth examination of a dataset of
pairwise human judgments released by OpenAI. Utilizing the Bradley-Terry-Luce
model, we identify key factors that could potentially influence human
judgments. Our research uncovers the inherent preferences embedded in human
judgments and suggests strategies to boost sample efficiency. Finally, we
provide insights on the construction of balanced datasets for human judgment
evaluations, a crucial step in shaping the behaviors of future LLMs.
- Abstract(参考訳): 人間の判断は、人間の好みに合わせて出力を生成するために、大きな言語モデル(LLM)を導く上で重要である。
それらはしばしば、既存の自動メトリクスを補完する要約評価に使用される。
しかし、その重要性にもかかわらず、これらの対の人間の判断を探索する研究は限られている。
インフォマティブネス、コヒーレンス、フルエンシー、事実の一貫性といった要因の集団的影響とそれぞれの重みはいまだに不明である。
最終判断に隠された要因が及ぼす影響も不明である。
本稿では,OpenAI がリリースした対人判断のデータセットについて,詳細な検討を行う。
Bradley-Terry-Luceモデルを用いて、人間の判断に影響を及ぼす可能性のある重要な要因を同定する。
我々の研究は、人間の判断に埋め込まれた固有の嗜好を明らかにし、サンプル効率を高める戦略を提案する。
最後に,人間判断評価のためのバランスのとれたデータセットの構築に関する知見を提供する。
関連論文リスト
- VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。
既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。
対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文 参考訳(メタデータ) (2024-04-22T04:49:22Z) - Large Language Models for Psycholinguistic Plausibility Pretesting [47.1250032409564]
本稿では,言語モデル (LM) が妥当性判定に有効かどうかを検討する。
その結果, GPT-4の妥当性判定は, 調査対象の構造全体にわたって, 人間の判断と高い相関関係があることが判明した。
そして、この相関関係が、人間の代わりにLMを使うことを暗示するかどうかを検証した。
論文 参考訳(メタデータ) (2024-02-08T07:20:02Z) - F-Eval: Asssessing Fundamental Abilities with Refined Evaluation Methods [111.46455901113976]
F-Evalは、表現、常識、論理などの基本能力を評価するためのバイリンガル評価ベンチマークである。
参照不要な主観的タスクに対しては,APIモデルによるスコアの代替として,新たな評価手法を考案する。
論文 参考訳(メタデータ) (2024-01-26T13:55:32Z) - Decoding Susceptibility: Modeling Misbelief to Misinformation Through a
Computational Approach [63.67533153887132]
誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。
既存の感受性研究は、自己報告された信念に大きく依存している。
本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
論文 参考訳(メタデータ) (2023-11-16T07:22:56Z) - AlignDiff: Aligning Diverse Human Preferences via Behavior-Customisable
Diffusion Model [69.12623428463573]
AlignDiffは、人間の好みを定量化し、抽象性をカバーし、拡散計画をガイドする新しいフレームワークである。
ユーザがカスタマイズした動作と正確に一致し、効率的に切り替えることができます。
選好マッチング,スイッチング,カバーにおいて,他のベースラインに比べて優れた性能を示す。
論文 参考訳(メタデータ) (2023-10-03T13:53:08Z) - Human Feedback is not Gold Standard [28.63384327791185]
我々は、トレーニングと評価の両方において、人間のフィードバックの使用を批判的に分析する。
選好スコアはかなり良いカバレッジを持っているが、事実性のような重要な側面は低く表現されている。
論文 参考訳(メタデータ) (2023-09-28T11:18:20Z) - Using Natural Language Explanations to Rescale Human Judgments [89.21530406247142]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳(メタデータ) (2023-05-24T06:19:14Z) - Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
大型言語モデル(LLM)は、関連判断を支援することができると主張している。
自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
論文 参考訳(メタデータ) (2023-04-13T13:08:38Z) - Generalizing Fairness: Discovery and Mitigation of Unknown Sensitive
Attributes [5.665283675533071]
本稿では,特定のデータセットから個々のセマンティックセンシティブな要因を分離し,その特徴付けを行う手法について検討する。
また、通常、社会的に関係のある要素にのみ対応し、AIの脱感作に対処するフェアネスの是正も行います。
道路標識 (GTSRB) と顔画像 (CelebA) のデータセットを用いた実験では, この方式を用いることの約束を示す。
論文 参考訳(メタデータ) (2021-07-28T20:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。