論文の概要: HumT DumT: Measuring and controlling human-like language in LLMs

• arxiv url: http://arxiv.org/abs/2502.13259v1
• Date: Tue, 18 Feb 2025 20:04:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 20:12:09.772484
• Title: HumT DumT: Measuring and controlling human-like language in LLMs
• Title（参考訳）: HumT DumT:LLMにおける人型言語の測定と制御
• Authors: Myra Cheng, Sunny Yu, Dan Jurafsky,
• Abstract要約: ヒューマンライクな言語はユーザエクスペリエンスを改善するかもしれないが、過度な信頼とステレオタイピングにつながる可能性がある。 本稿では,HumT と SocioT を紹介し,テキストデータにおける人間のような音色や社会的知覚の他の次元の指標について紹介する。 好みや使用状況のデータセットにわたってHumTを測定することで、LLMからの人間的なアウトプットがより少ないことが分かる。
• 参考スコア（独自算出の注目度）: 29.82328120944693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Should LLMs generate language that makes them seem human? Human-like language might improve user experience, but might also lead to overreliance and stereotyping. Assessing these potential impacts requires a systematic way to measure human-like tone in LLM outputs. We introduce HumT and SocioT, metrics for human-like tone and other dimensions of social perceptions in text data based on relative probabilities from an LLM. By measuring HumT across preference and usage datasets, we find that users prefer less human-like outputs from LLMs. HumT also offers insights into the impacts of anthropomorphism: human-like LLM outputs are highly correlated with warmth, social closeness, femininity, and low status, which are closely linked to the aforementioned harms. We introduce DumT, a method using HumT to systematically control and reduce the degree of human-like tone while preserving model performance. DumT offers a practical approach for mitigating risks associated with anthropomorphic language generation.
• Abstract（参考訳）: LLMは、人間らしく見える言語を生成するべきだろうか? ヒューマンライクな言語はユーザエクスペリエンスを改善するかもしれないが、過度な信頼とステレオタイピングにつながる可能性がある。 これらの潜在的な影響を評価するには、LLM出力の人間の様のトーンを測定する体系的な方法が必要である。 我々は,LLMの相対確率に基づくテキストデータにHumTとSocioTを導入し,人間の声調などの社会的知覚の指標について紹介する。 好みや使用状況のデータセットにわたってHumTを測定することで、LLMからの人間的なアウトプットがより少ないことが分かる。 HumTはまた、人間のようなLCM出力は、上記の害と密接に結びついている温かさ、社会的近さ、フェミニニティ、低地位と非常に相関している。 モデル性能を保ちながら,HumTを用いて人間の声調を体系的に制御し,抑える手法であるDumTを紹介する。 DumTは人為的言語生成に関連するリスクを軽減するための実践的なアプローチを提供する。

関連論文リスト

• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Shaping Shared Languages: Human and Large Language Models' Inductive Biases in Emergent Communication [0.09999629695552195]
  ヒトと大言語モデル(LLM)の帰納バイアスに最適化された人工言語がどのように進化するかを検討する。 我々は,人間とLLMが協力しながらも,すべての状況において信頼性の高いコミュニケーションを可能にする語彙が出現することを示す。
  論文  参考訳（メタデータ） (2025-03-06T12:47:54Z)
• Take Caution in Using LLMs as Human Surrogates: Scylla Ex Machina [7.155982875107922]
  研究は、大規模言語モデル(LLM)が、経済実験、調査、政治談話において、人間の行動と整合した人間的な推論を示す可能性があることを示唆している。 このことから、LLMは社会科学研究において人間の代理やシミュレーションとして使用できると多くの人が提案している。 11～20のマネーリクエストゲームを用いてLCMの推論深度を評価する。
  論文  参考訳（メタデータ） (2024-10-25T14:46:07Z)
• Judgment of Learning: A Human Ability Beyond Generative Artificial Intelligence [0.0]
  大規模言語モデル(LLM)は、様々な言語に基づくタスクにおいて、人間の認知を模倣する傾向にある。 我々は、ChatGPTに基づくLLMが人間の学習判断(JOL)と一致しているかどうかを評価するために、クロスエージェント予測モデルを導入する。 実験の結果,人間のJOLは実際のメモリ性能を確実に予測するが,いずれのLLMも同等の予測精度は示さなかった。
  論文  参考訳（メタデータ） (2024-10-17T09:42:30Z)
• Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
  インタラクションの文脈的特徴が依存に与える影響について検討する。 文脈特性が人間の信頼行動に大きく影響していることが判明した。 これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:00:05Z)
• A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
  近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
  論文  参考訳（メタデータ） (2024-06-17T03:52:51Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Psychometric Predictive Power of Large Language Models [32.31556074470733]
  命令チューニングは、認知モデルの観点から、必ずしも人間のような大きな言語モデルを作るとは限らない。 命令調整 LLM で推定される次の単語確率は、基本 LLM で推定されるものよりも、人間の読み動作をシミュレートする場合には、しばしば悪化する。
  論文  参考訳（メタデータ） (2023-11-13T17:19:14Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks [12.723777984461693]
  大型言語モデル(LLM)は注目すべきデータアノテータである。 クラウドソーシングは、人間のアノテーションを得るための重要で安価な方法であり、それ自体はLLMの影響を受けているかもしれない。 作業完了時には,33～46%がLLMを使用していた。
  論文  参考訳（メタデータ） (2023-06-13T16:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。