論文の概要: ChatGPT Rates Natural Language Explanation Quality Like Humans: But on Which Scales?
- arxiv url: http://arxiv.org/abs/2403.17368v1
- Date: Tue, 26 Mar 2024 04:07:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 16:45:50.116694
- Title: ChatGPT Rates Natural Language Explanation Quality Like Humans: But on Which Scales?
- Title(参考訳): ChatGPTは、人間のように自然言語による説明の質を高める:しかし、どのスケールで?
- Authors: Fan Huang, Haewoon Kwak, Kunwoo Park, Jisun An,
- Abstract要約: 本研究では,ChatGPTと人的評価のアライメントについて,複数の尺度で検討する。
3つのNLEデータセットから300のデータインスタンスをサンプリングし、900人のアノテーションを収集します。
以上の結果から,ChatGPTはより粗いスケールで人間とよく一致していることがわかった。
- 参考スコア(独自算出の注目度): 7.307538454513983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As AI becomes more integral in our lives, the need for transparency and responsibility grows. While natural language explanations (NLEs) are vital for clarifying the reasoning behind AI decisions, evaluating them through human judgments is complex and resource-intensive due to subjectivity and the need for fine-grained ratings. This study explores the alignment between ChatGPT and human assessments across multiple scales (i.e., binary, ternary, and 7-Likert scale). We sample 300 data instances from three NLE datasets and collect 900 human annotations for both informativeness and clarity scores as the text quality measurement. We further conduct paired comparison experiments under different ranges of subjectivity scores, where the baseline comes from 8,346 human annotations. Our results show that ChatGPT aligns better with humans in more coarse-grained scales. Also, paired comparisons and dynamic prompting (i.e., providing semantically similar examples in the prompt) improve the alignment. This research advances our understanding of large language models' capabilities to assess the text explanation quality in different configurations for responsible AI development.
- Abstract(参考訳): AIが私たちの生活にますます不可欠なものになっていくと、透明性と責任の必要性が増す。
自然言語の説明(NLE)は、AI決定の背後にある理由を明らかにする上で不可欠であるが、主観性と詳細な評価の必要性のため、人間の判断による評価は複雑でリソース集約的である。
本研究では,ChatGPTと人的評価(二分数,三分数,七分数)のアライメントについて検討した。
3つのNLEデータセットから300のデータインスタンスをサンプリングし、テキストの品質測定として、情報度と明瞭度スコアの両方に900人のアノテーションを収集する。
さらに,8,346人のアノテーションの基準となる主観性スコアの異なる範囲でペア比較実験を行った。
以上の結果から,ChatGPTはより粗いスケールで人間とよく一致していることがわかった。
また、ペア比較と動的プロンプト(すなわちプロンプトに意味的に類似した例を提供する)はアライメントを改善する。
本研究は,大規模言語モデルの能力の理解を深め,AI開発に責任を負うための異なる構成のテキスト説明品質を評価する。
関連論文リスト
- Can ChatGPT Read Who You Are? [9.694940903078656]
チェコ語で書かれたテキストを代表とする総合的なユーザスタディの結果を155人のサンプルで報告した。
本研究は,ChatGPTによる性格特性推定と人間による評価とを比較し,テキストから人格特性を推定する際のChatGPTの競争性能を報告する。
論文 参考訳(メタデータ) (2023-12-26T14:43:04Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳(メタデータ) (2023-04-24T12:58:28Z) - Real or Fake Text?: Investigating Human Ability to Detect Boundaries
Between Human-Written and Machine-Generated Text [23.622347443796183]
我々は、テキストが人間の書き起こしから始まり、最先端のニューラルネットワークモデルによって生成されるようになる、より現実的な状況について研究する。
この課題でアノテータはしばしば苦労するが、アノテータのスキルにはかなりのばらつきがあり、適切なインセンティブが与えられると、アノテータは時間とともに改善できることを示す。
論文 参考訳(メタデータ) (2022-12-24T06:40:25Z) - Retrieval-based Disentangled Representation Learning with Natural
Language Supervision [61.75109410513864]
本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。
提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
論文 参考訳(メタデータ) (2022-12-15T10:20:42Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Training Language Models with Natural Language Feedback [51.36137482891037]
3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。
合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。
人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
論文 参考訳(メタデータ) (2022-04-29T15:06:58Z) - Reframing Human-AI Collaboration for Generating Free-Text Explanations [46.29832336779188]
少数の人間が記述した例を用いて,自由テキストの説明を生成する作業について考察する。
クラウドソースによる説明よりも,GPT-3による説明の方が好まれる。
我々は、GPT-3と教師付きフィルタを組み合わせたパイプラインを作成し、二項受理性判定を介し、ループ内人間を組み込む。
論文 参考訳(メタデータ) (2021-12-16T07:31:37Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - What's the best place for an AI conference, Vancouver or ______: Why
completing comparative questions is difficult [22.04829832439774]
ニューラルLMが妥当な質問をする(答えない)能力について研究する。
この課題の正確性は,質問が妥当かどうかの判断とよく関連している。
論文 参考訳(メタデータ) (2021-04-05T14:56:09Z) - Towards Abstract Relational Learning in Human Robot Interaction [73.67226556788498]
人間は環境における実体を豊かに表現する。
ロボットが人間とうまく対話する必要がある場合、同様の方法で実体、属性、一般化を表現する必要がある。
本研究では,人間とロボットの相互作用を通じて,これらの表現をどのように獲得するかという課題に対処する。
論文 参考訳(メタデータ) (2020-11-20T12:06:46Z) - Generating Hierarchical Explanations on Text Classification via Feature
Interaction Detection [21.02924712220406]
特徴的相互作用を検出することによって階層的な説明を構築する。
このような説明は、単語とフレーズが階層の異なるレベルでどのように結合されるかを視覚化する。
実験は、モデルに忠実であり、人間に解釈可能な説明を提供する上で、提案手法の有効性を示す。
論文 参考訳(メタデータ) (2020-04-04T20:56:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。