論文の概要: WildFrame: Comparing Framing in Humans and LLMs on Naturally Occurring Texts

• arxiv url: http://arxiv.org/abs/2502.17091v1
• Date: Mon, 24 Feb 2025 12:14:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:58:18.222970
• Title: WildFrame: Comparing Framing in Humans and LLMs on Naturally Occurring Texts
• Title（参考訳）: WildFrame:自然発生テキストにおける人間とLLMのフラーミングの比較
• Authors: Gili Lior, Liron Nacchace, Gabriel Stanovsky,
• Abstract要約: 自然発生文における正および負のフレーミングに対する応答を評価するデータセットであるWildFrameを紹介する。 WildFrameは1000のテキストで構成され、まず感情を明確にした現実世界のステートメントを選択した後、肯定的あるいは否定的な光でそれらを解釈し、最後に人間の感情アノテーションを収集する。 すべてのモデルが人間に類似したフレーミング効果を示しており、人間とモデルの両方がネガティブリフレーミングよりもポジティブな影響を受けていることがわかりました。
• 参考スコア（独自算出の注目度）: 14.236640331165757
• License:
• Abstract: Humans are influenced by how information is presented, a phenomenon known as the framing effect. Previous work has shown that LLMs may also be susceptible to framing but has done so on synthetic data and did not compare to human behavior. We introduce WildFrame, a dataset for evaluating LLM responses to positive and negative framing, in naturally-occurring sentences, and compare humans on the same data. WildFrame consists of 1,000 texts, first selecting real-world statements with clear sentiment, then reframing them in either positive or negative light, and lastly, collecting human sentiment annotations. By evaluating eight state-of-the-art LLMs on WildFrame, we find that all models exhibit framing effects similar to humans ($r\geq0.57$), with both humans and models being more influenced by positive rather than negative reframing. Our findings benefit model developers, who can either harness framing or mitigate its effects, depending on the downstream application.
• Abstract（参考訳）: 人間は情報がどのように提示されるかに影響を受けており、フレーミング効果として知られる現象である。 これまでの研究では、LLMはフレーミングにも感受性があるが、合成データに基づいており、人間の行動と比べていないことが示されている。 自然発生文において, 肯定的かつ否定的なフレーミングに対するLDM応答を評価するためのデータセットであるWildFrameを導入し, 同一データ上での人間との比較を行った。 WildFrameは1000のテキストで構成され、まず感情を明確にした現実世界のステートメントを選択した後、肯定的あるいは否定的な光でそれらを解釈し、最後に人間の感情アノテーションを収集する。 WildFrame上で8つの最先端のLCMを評価することで、すべてのモデルが人間に類似したフレーミング効果(r\geq0.57$)を示し、人間とモデルの両方がネガティブリフレーミングよりもポジティブな影響を受けていることがわかった。 我々の発見は、下流アプリケーションに依存してフレーミングを利用するか、その効果を緩和できるモデル開発者に恩恵を与えます。

関連論文リスト

• Debiasing Large Vision-Language Models by Ablating Protected Attribute Representations [7.052925981783274]
  本稿では,テキスト生成時のバイアス属性を直接評価することで,LVLMのための新しい脱バイアスフレームワークを提案する。 本手法では, トレーニングを必要とせず, 比較的少数の代表バイアス出力が要求される。 我々の実験は、LVLMが保護属性に関連するテキストを生成することの妥当性を最小化できるだけでなく、合成データを使ってアブレーションを知らせることさえできることを示した。
  論文  参考訳（メタデータ） (2024-10-17T19:02:31Z)
• Modeling Human Subjectivity in LLMs Using Explicit and Implicit Human Factors in Personas [14.650234624251716]
  大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。 これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。 我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
  論文  参考訳（メタデータ） (2024-06-20T16:24:07Z)
• ACORN: Aspect-wise Commonsense Reasoning Explanation Evaluation [29.718851249656172]
  大規模言語モデル(LLM)は、一貫性、スケーラビリティ、コスト効率の面で魅力的な代替手段である。 ACORNは3500のフリーテキストの説明とアスペクトワイドの品質評価のデータセットである。
  論文  参考訳（メタデータ） (2024-05-08T05:36:52Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks [49.60689355674541]
  認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。 大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
  論文  参考訳（メタデータ） (2023-10-30T15:57:32Z)
• Harnessing the Power of LLMs: Evaluating Human-AI Text Co-Creation through the Lens of News Headline Generation [58.31430028519306]
  本研究は, LLMを書き込みに最も有効に活用する方法と, これらのモデルとのインタラクションが, 書き込みプロセスにおけるオーナシップや信頼感にどのように影響するかを考察する。 LLMだけで十分なニュースの見出しを生成することができるが、平均すると、望ましくないモデルのアウトプットを修正するには人間による制御が必要である。
  論文  参考訳（メタデータ） (2023-10-16T15:11:01Z)
• Fine-Grained Human Feedback Gives Better Rewards for Language Model Training [108.25635150124539]
  言語モデル(LM)は、しばしば偽、有毒、無関係な出力を生成するなど、望ましくないテキスト生成の振る舞いを示す。 本研究では,2つの点において微細な報酬関数から学習と学習を可能にするフレームワークであるFine-Grained RLHFを紹介する。
  論文  参考訳（メタデータ） (2023-06-02T17:11:37Z)
• Human Behavioral Benchmarking: Numeric Magnitude Comparison Effects in Large Language Models [4.412336603162406]
  大規模言語モデル(LLM)は、テキストで広まる数値を差分表現しない。 本研究では,LLMが行動レンズからどれだけの数の数値を捉えているかを検討する。
  論文  参考訳（メタデータ） (2023-05-18T07:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。