Fugu-MT 論文翻訳(概要): HLB: Benchmarking LLMs' Humanlikeness in Language Use

論文の概要: HLB: Benchmarking LLMs' Humanlikeness in Language Use

arxiv url: http://arxiv.org/abs/2409.15890v1
Date: Tue, 24 Sep 2024 09:02:28 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 08:11:26.905338
Title: HLB: Benchmarking LLMs' Humanlikeness in Language Use
Title（参考訳）: HLB:LLMの言語利用におけるヒューマンライクさのベンチマーク
Authors: Xufeng Duan, Bei Xiao, Xuemei Tang, Zhenguang G. Cai,
Abstract要約: 20大言語モデル(LLM)を評価する総合的人間類似度ベンチマーク(HLB)を提案する。実験では2000人以上の被験者から回答を収集し,LSMの成果と比較した。以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。
参考スコア（独自算出の注目度）: 2.438748974410787
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As synthetic data becomes increasingly prevalent in training language models, particularly through generated dialogue, concerns have emerged that these models may deviate from authentic human language patterns, potentially losing the richness and creativity inherent in human communication. This highlights the critical need to assess the humanlikeness of language models in real-world language use. In this paper, we present a comprehensive humanlikeness benchmark (HLB) evaluating 20 large language models (LLMs) using 10 psycholinguistic experiments designed to probe core linguistic aspects, including sound, word, syntax, semantics, and discourse (see https://huggingface.co/spaces/XufengDuan/HumanLikeness). To anchor these comparisons, we collected responses from over 2,000 human participants and compared them to outputs from the LLMs in these experiments. For rigorous evaluation, we developed a coding algorithm that accurately identified language use patterns, enabling the extraction of response distributions for each task. By comparing the response distributions between human participants and LLMs, we quantified humanlikeness through distributional similarity. Our results reveal fine-grained differences in how well LLMs replicate human responses across various linguistic levels. Importantly, we found that improvements in other performance metrics did not necessarily lead to greater humanlikeness, and in some cases, even resulted in a decline. By introducing psycholinguistic methods to model evaluation, this benchmark offers the first framework for systematically assessing the humanlikeness of LLMs in language use.
Abstract（参考訳）: 合成データが、特に生成された対話を通じて、訓練言語モデルでますます普及するにつれて、これらのモデルが真の人間の言語パターンから逸脱し、人間のコミュニケーションに固有の豊かさと創造性を失う可能性があるという懸念が浮かび上がっている。これは、現実世界の言語使用における言語モデルの人間的類似性を評価するための重要な必要性を強調している。本稿では、音声、単語、構文、意味論、言説などの中核的な言語的側面を探索する10の心理言語実験を用いて、20の言語モデル(LLM)を総合的に評価するHLBについて述べる(https://huggingface.co/spaces/XufengDuan/HumanLikenessを参照)。これらの比較を固定するため、2000人以上の被験者から回答を収集し、これらの実験においてLSMから得られた結果と比較した。厳密な評価のために、言語使用パターンを正確に識別し、各タスクに対する応答分布の抽出を可能にする符号化アルゴリズムを開発した。ヒトとLDM間の応答分布を比較することで,分布の類似性を通じて人間の類似性を定量化した。以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。重要なことに、他のパフォーマンス指標の改善が必ずしも人的類似性の向上に結びついておらず、場合によっては低下するケースさえありました。モデル評価に心理言語学的手法を導入することで、このベンチマークは言語使用におけるLLMの人間的類似性を体系的に評価する最初のフレームワークを提供する。

関連論文リスト

Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
論文参考訳（メタデータ） (2024-11-12T04:16:44Z)
LMLPA: Language Model Linguistic Personality Assessment [11.599282127259736]
大規模言語モデル(LLM)は、日常の生活や研究にますます利用されている。与えられたLLMの性格を測定することは、現在課題である。言語モデル言語パーソナリティアセスメント(LMLPA)は,LLMの言語的パーソナリティを評価するシステムである。
論文参考訳（メタデータ） (2024-10-23T07:48:51Z)
Cross-lingual Speech Emotion Recognition: Humans vs. Self-Supervised Models [16.0617753653454]
本研究では,人間のパフォーマンスとSSLモデルの比較分析を行った。また、モデルと人間のSER能力を発話レベルとセグメントレベルの両方で比較する。その結果,適切な知識伝達を行うモデルでは,対象言語に適応し,ネイティブ話者に匹敵する性能が得られることがわかった。
論文参考訳（メタデータ） (2024-09-25T13:27:17Z)
DiverseDialogue: A Methodology for Designing Chatbots with Human-Like Diversity [5.388338680646657]
また, GPT-4o miniは, 複数の言語的特徴にまたがって, 実際の人間と系統的に異なることを示す。本研究では,実際の人的インタラクションから派生した特徴を取り入れたユーザシミュレーションのプロンプトを自動生成する手法を提案する。本手法は,特定の言語的特徴を対象とするように最適化され,大幅な改善が見られた。
論文参考訳（メタデータ） (2024-08-30T21:33:58Z)
Virtual Personas for Language Models via an Anthology of Backstories [5.2112564466740245]
アンソロジー(アンソロジー、Anthology)は、オープン・エンド・ライフ・ナラティブを利用して、大きな言語モデルを特定のバーチャル・ペルソナに調和させる手法である。本手法は,実験結果の一貫性と信頼性を高めつつ,多様なサブ集団のより良い表現を確実にすることを示す。
論文参考訳（メタデータ） (2024-07-09T06:11:18Z)
How Does Quantization Affect Multilingual LLMs? [50.867324914368524]
量子化技術は、大規模な言語モデルの推論速度と展開を改善するために広く使われている。量子化多言語LLMの徹底的な分析を行い、言語間の性能と様々なスケールに焦点をあてる。
論文参考訳（メタデータ） (2024-07-03T15:39:40Z)
High-Dimension Human Value Representation in Large Language Models [60.33033114185092]
大規模言語モデル(LLM)における人的価値分布の高次元表現であるUniVaRを提案する。我々は,UniVaRが,異なるLLMに埋め込まれた人間の値と異なる言語源との分布を比較する強力なツールであることを示す。
論文参考訳（メタデータ） (2024-04-11T16:39:00Z)
CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文参考訳（メタデータ） (2023-11-29T08:29:54Z)
L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文参考訳（メタデータ） (2023-09-29T17:57:00Z)
Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文参考訳（メタデータ） (2023-02-06T10:28:16Z)
Estimating Subjective Crowd-Evaluations as an Additional Objective to Improve Natural Language Generation [0.0]
我々は6つの異なる言語生成モデルについて,群衆による対話コーパスを用いて微調整を行う。これらのモデルのうち2つはマルチタスク学習を取り入れ、明確な学習目標の一部としてラインの主観評価を使用する。生成した対話行の人間による評価では、マルチタスクモデルによって生成された発話が主観的に最も典型的であり、最も会話を前進させ、最も攻撃的であることを明らかにした。
論文参考訳（メタデータ） (2021-04-12T06:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。