論文の概要: Towards New Benchmark for AI Alignment & Sentiment Analysis in Socially Important Issues: A Comparative Study of Human and LLMs in the Context of AGI

• arxiv url: http://arxiv.org/abs/2501.02531v1
• Date: Sun, 05 Jan 2025 13:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 16:36:51.474058
• Title: Towards New Benchmark for AI Alignment & Sentiment Analysis in Socially Important Issues: A Comparative Study of Human and LLMs in the Context of AGI
• Title（参考訳）: 社会問題におけるAIアライメント・センチメント分析の新しいベンチマークに向けて:AGIの文脈における人間とLLMの比較研究
• Authors: Ljubisa Bojic, Dylan Seychell, Milan Cabarkapa,
• Abstract要約: 本研究は、社会的輸入問題における様々な大規模言語モデルの感情評価のためのベンチマークの確立に寄与することを目的としている。 GPT-4とBardを含む7つのLDMを解析し、3つの独立したヒトサンプル集団の感情データと比較した。 GPT-4はAGIに対して最も肯定的な感情スコアを記録したが、Bardは中立的な感情に傾いていた。
• 参考スコア（独自算出の注目度）: 0.08192907805418582
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the expansion of neural networks, such as large language models, humanity is exponentially heading towards superintelligence. As various AI systems are increasingly integrated into the fabric of societies-through recommending values, devising creative solutions, and making decisions-it becomes critical to assess how these AI systems impact humans in the long run. This research aims to contribute towards establishing a benchmark for evaluating the sentiment of various Large Language Models in socially importan issues. The methodology adopted was a Likert scale survey. Seven LLMs, including GPT-4 and Bard, were analyzed and compared against sentiment data from three independent human sample populations. Temporal variations in sentiment were also evaluated over three consecutive days. The results highlighted a diversity in sentiment scores among LLMs, ranging from 3.32 to 4.12 out of 5. GPT-4 recorded the most positive sentiment score towards AGI, whereas Bard was leaning towards the neutral sentiment. The human samples, contrastingly, showed a lower average sentiment of 2.97. The temporal comparison revealed differences in sentiment evolution between LLMs in three days, ranging from 1.03% to 8.21%. The study's analysis outlines the prospect of potential conflicts of interest and bias possibilities in LLMs' sentiment formation. Results indicate that LLMs, akin to human cognitive processes, could potentially develop unique sentiments and subtly influence societies' perceptions towards various opinions formed within the LLMs.
• Abstract（参考訳）: 大規模言語モデルのようなニューラルネットワークの拡大により、人類は指数関数的に超知能に向かっている。 さまざまなAIシステムが、価値を推奨し、創造的なソリューションを考案し、意思決定を通じて、社会のファブリックに統合されるようになるにつれて、これらのAIシステムが長期的に人間に与える影響を評価することが重要になる。 本研究は、社会的輸入問題における様々な大規模言語モデルの感情評価のためのベンチマークの確立に寄与することを目的としている。 採用された手法は、Likertスケールのサーベイである。 GPT-4とBardを含む7つのLDMを解析し、3つの独立したヒトサンプル集団の感情データと比較した。 感情の時間的変動も3日間にわたって評価された。 その結果、LLMの感情スコアは5.5%中3.32から4.12まで様々であった。 GPT-4はAGIに対して最も肯定的な感情スコアを記録したが、Bardは中立的な感情に傾いていた。 対照的に、ヒトのサンプルの平均感情は2.97。 時間的比較では、LLM間の3日間の感情進化の差異が1.03%から8.21%まで明らかにされた。 この研究の分析は、LLMの感情形成における利害対立の可能性とバイアスの可能性について概説している。 以上の結果から, LLMは人間の認知過程に類似し, 独特な感情を発達させ, LLM内の様々な意見に対する社会の認識に微妙に影響を及ぼす可能性が示唆された。

関連論文リスト

• Human-MME: A Holistic Evaluation Benchmark for Human-Centric Multimodal Large Language Models [118.44328586173556]
  MLLM(Multimodal Large Language Models)は視覚的理解タスクにおいて大きな進歩を見せている。 Human-MMEは、人間中心のシーン理解におけるMLLMのより総合的な評価を提供するために設計された、キュレートされたベンチマークである。 我々のベンチマークは、単一対象の理解を多対多の相互理解に拡張する。
  論文  参考訳（メタデータ） (2025-09-30T12:20:57Z)
• Evaluating AI Alignment in Eleven LLMs through Output-Based Analysis and Human Benchmarking [0.0]
  大規模言語モデル(LLM)は、心理学的な研究や実践にますます使われているが、従来のベンチマークでは、実際の相互作用で表現される価値についてはほとんど明らかにされていない。 LLMが表現する値の出力に基づく評価であるPAPERSを導入する。
  論文  参考訳（メタデータ） (2025-06-14T20:14:02Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• Evolutionary Perspectives on the Evaluation of LLM-Based AI Agents: A Comprehensive Survey [45.485318955120924]
  従来の大規模言語モデル(LLM)からより高度なAIエージェントへの移行は、重要な進化のステップである。 既存の評価フレームワークは、LLMチャットボットとAIエージェントの区別を曖昧にし、適切なベンチマークを選択する研究者の間で混乱を招くことが多い。 本稿では,進化的観点からの現在の評価手法の体系的分析を紹介する。
  論文  参考訳（メタデータ） (2025-06-06T17:52:18Z)
• MMAFFBen: A Multilingual and Multimodal Affective Analysis Benchmark for Evaluating LLMs and VLMs [33.73249122449025]
  MMAFFBenは多言語マルチモーダル感情分析のためのオープンソースのベンチマークである。 MMAFFBenは、感情極性、感情強度、感情分類、感情強度の4つの主要な感情分析タスクをカバーしている。 MMAFFLM-3b と MMAFFLM-7b は,感情分析タスクを微調整するための MMAFFIn データセットの構築と,それに基づく MMAFFLM-3b と MMAFFLM-7b の開発を行う。
  論文  参考訳（メタデータ） (2025-05-30T10:02:15Z)
• From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning [52.32745233116143]
  人間は知識をセマンティック圧縮によってコンパクトなカテゴリに分類する。 大規模言語モデル(LLM)は、顕著な言語能力を示す。 しかし、その内部表現が、圧縮と意味的忠実性の間の人間のようなトレードオフにぶつかるかどうかは不明だ。
  論文  参考訳（メタデータ） (2025-05-21T16:29:00Z)
• LLM Ethics Benchmark: A Three-Dimensional Assessment System for Evaluating Moral Reasoning in Large Language Models [8.018569128518187]
  本研究では,大規模言語モデル(LLM)の道徳的推論能力を体系的に評価するための新しい枠組みを確立する。 我々の枠組みは、3次元を通して人間の倫理基準との整合性を定量化することでこの問題に対処する。 このアプローチは、LLMの倫理的強みと弱みを正確に識別し、目標とする改善と社会的価値との整合性を高める。
  論文  参考訳（メタデータ） (2025-05-01T20:36:19Z)
• VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
  VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。 これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。 ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
  論文  参考訳（メタデータ） (2025-04-21T17:59:53Z)
• Prompt Sentiment: The Catalyst for LLM Change [0.29998889086656577]
  本研究では,感情変化が大規模言語モデル(LLM)に与える影響を系統的に検討する。 私たちの分析は、コンテンツ生成、会話型AI、法的および財務分析、ヘルスケアAI、クリエイティブライティング、および技術ドキュメントを含む、AI駆動の6つのアプリケーションにまたがる。 以上の結果から,肯定的な感情はモデル反応に大きく影響し,否定的な感情は事実の精度を低下させ,バイアスを増幅する一方,肯定的な感情は冗長性や感情の伝播を増大させる傾向が示唆された。
  論文  参考訳（メタデータ） (2025-03-14T06:25:21Z)
• Evaluating Large Language Models Against Human Annotators in Latent Content Analysis: Sentiment, Political Leaning, Emotional Intensity, and Sarcasm [0.3141085922386211]
  本研究では,7つの最先端大規模言語モデル(LLM)の信頼性,一貫性,品質を評価する。 合計33人のアノテータと8つのLDM変種が100のキュレートされたテキストアイテムを評価した。 その結果、人間とLLMは、感情分析と政治的傾倒評価において高い信頼性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-05T13:28:15Z)
• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• ValueCompass: A Framework for Measuring Contextual Value Alignment Between Human and LLMs [16.711615737109977]
  本稿では,心理学的理論と体系的レビューに基づく基本的価値の枠組みであるバリューを紹介する。 実世界の4つのシナリオにまたがって、人間と大規模言語モデル(LLM)の価値アライメントを測定するためにバリューを適用します。
  論文  参考訳（メタデータ） (2024-09-15T02:13:03Z)
• Do Large Language Models Possess Sensitive to Sentiment? [18.88126980975737]
  大規模言語モデル(LLM)は、最近、言語理解における異常な能力を示した。 本稿では,LLMがテキストモーダルの感情を検知し,反応する能力について検討する。
  論文  参考訳（メタデータ） (2024-09-04T01:40:20Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• Position: Towards Bidirectional Human-AI Alignment [109.57781720848669]
  我々は、人間とAIの双方向的・動的関係を説明するために、研究コミュニティは「調整」を明確に定義し、批判的に反映すべきであると主張する。 このフレームワークは、AIと人間の価値を整合させる従来の取り組みを取り入れているだけでなく、人間とAIを整合させるという、重要で未解明の次元も導入しています。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• GPT-4 Surpassing Human Performance in Linguistic Pragmatics [0.0]
  本研究では,Large Language Models (LLMs) の言語プラグマティクスの理解と解釈能力について検討した。 Grice のコミュニケーション原理を用いて,LLM とヒトの被験者を対話型タスクに対する応答に基づいて評価した。 以上の結果より, LLM, 特にGPT4は, 実用的解釈において, 人体よりも優れていた。
  論文  参考訳（メタデータ） (2023-12-15T05:40:15Z)
• Large Language Models as Automated Aligners for benchmarking Vision-Language Models [48.4367174400306]
  VLM(Vision-Language Models)は新しいレベルの高度化に達し、複雑な認知と推論タスクの実行において顕著な能力を示している。 既存の評価ベンチマークは、厳密で手作りのデータセットを主に頼りにしており、人為的なモデルと人間の知性との整合性を評価する上で、重大な制限に直面している。 本研究では,LLMを有能なキュレーションとして探求し,自動データキュレーションとアセスメントによってVLMと人間の知性と価値のアライメントを測定するAuto-Benchを用いて,その限界に対処する。
  論文  参考訳（メタデータ） (2023-11-24T16:12:05Z)
• Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
  心理学からの感情評価理論を用いて,Large Language Models (LLMs) の人為的能力を評価する。 我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。 我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
  論文  参考訳（メタデータ） (2023-08-07T15:18:30Z)
• Exploring Qualitative Research Using LLMs [8.545798128849091]
  この研究は、人間とAIが駆動する大規模言語モデルの理解能力を比較し、比較することを目的としている。 私たちはAlexaアプリのレビューの小さなサンプルを使って実験を行い、最初は人間のアナリストによって分類された。 LLMはこれらのレビューを分類し、それぞれの分類の背後にある理由を提供するよう求められた。
  論文  参考訳（メタデータ） (2023-06-23T05:21:36Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。