論文の概要: Inducing Human-like Biases in Moral Reasoning Language Models

• arxiv url: http://arxiv.org/abs/2411.15386v1
• Date: Sat, 23 Nov 2024 00:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:24:57.699319
• Title: Inducing Human-like Biases in Moral Reasoning Language Models
• Title（参考訳）: モーラル推論言語モデルにおけるヒト様ビアーゼの誘導
• Authors: Artem Karpov, Seong Hah Cho, Austin Meek, Raymond Koopmanschap, Lucy Farnik, Bogdan-Ionut Cirstea,
• Abstract要約: 我々は、行動データと人間の脳データに基づいて、道徳的推論のために微調整された大規模言語モデル(LLM)のアライメントについて検討した。 より大規模なモデルでは、両方のメトリクスでパフォーマンスが向上する一方、BrainScoresは微調整後の大幅な改善は行わなかった。
• 参考スコア（独自算出の注目度）: 0.014660435286994568
• License:
• Abstract: In this work, we study the alignment (BrainScore) of large language models (LLMs) fine-tuned for moral reasoning on behavioral data and/or brain data of humans performing the same task. We also explore if fine-tuning several LLMs on the fMRI data of humans performing moral reasoning can improve the BrainScore. We fine-tune several LLMs (BERT, RoBERTa, DeBERTa) on moral reasoning behavioral data from the ETHICS benchmark [Hendrycks et al., 2020], on the moral reasoning fMRI data from Koster-Hale et al. [2013], or on both. We study both the accuracy on the ETHICS benchmark and the BrainScores between model activations and fMRI data. While larger models generally performed better on both metrics, BrainScores did not significantly improve after fine-tuning.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)のアライメント(BrainScore)を,行動データおよび/または脳データに基づく道徳的推論のために微調整した。 また、道徳的推論を行う人間のfMRIデータに基づいて、複数のLDMを微調整することで、BrainScoreを改善できるかについても検討する。 ETHICSベンチマーク(Hendrycks et al , 2020)のモラル推論行動データ(BERT, RoBERTa, DeBERTa)や、Koster-Hale et al (2013)のモラル推論fMRIデータ(Hendrycks et al , 2020)、および両方について、複数のLLM(BERT, RoBERTa, DeBERTa)を微調整する。 ETHICSベンチマークとBrainScoresにおけるモデルアクティベーションとfMRIデータの精度について検討した。 より大規模なモデルでは、両方のメトリクスでパフォーマンスが向上する一方、BrainScoresは微調整後の大幅な改善は行わなかった。

関連論文リスト

• Brain Ageing Prediction using Isolation Forest Technique and Residual Neural Network (ResNet) [0.3495246564946556]
  本稿では,Residual Neural Network 101 Version 2 (ResNet101V2) モデルを用いた新しいディープラーニング手法を提案する。 提案したモデルをトレーニングし、検証し、テストするために、ICBM(International Consortium for Brain Mapping)からランダムに選択された2102画像の大規模なデータセットを使用した。
  論文  参考訳（メタデータ） (2024-12-26T01:49:21Z)
• Predicting Human Brain States with Transformer [45.25907962341717]
  自己注意に基づくモデルでは、以前の21.6sで5.04sまでの脳状態を正確に予測できることが示される。 これらの有望な初期結果は、fMRIデータに対するジェネリックモデルの開発の可能性を示している。
  論文  参考訳（メタデータ） (2024-12-11T00:18:39Z)
• Enhancing Brain Age Estimation with a Multimodal 3D CNN Approach Combining Structural MRI and AI-Synthesized Cerebral Blood Volume Data [14.815462507141163]
  脳年齢ギャップ推定(BrainAGE)は、脳年齢を理解するための神経画像バイオマーカーである。 現在のアプローチでは、主にT1強調MRI(T1w MRI)データを使用し、構造脳情報のみをキャプチャする。 我々は,VGGに基づくアーキテクチャを用いたディープラーニングモデルを開発し,線形回帰を用いた予測を組み合わせた。 我々のモデルは3.95年の平均絶対誤差(MAE)とテストセットの$R2$ 0.943を達成し、類似したデータでトレーニングされた既存のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-12-01T21:54:08Z)
• Large Language Model-based FMRI Encoding of Language Functions for Subjects with Neurocognitive Disorder [53.575426835313536]
  LLMを用いたfMRIエンコーディングと脳のスコアを用いた高齢者の言語関連機能変化について検討する。 脳のスコアと認知スコアの相関関係を脳全体のROIと言語関連ROIの両方で分析した。 以上の結果から,認知能力の向上は,中側頭回に有意な相関がみられた。
  論文  参考訳（メタデータ） (2024-07-15T01:09:08Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks [49.60689355674541]
  認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。 大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
  論文  参考訳（メタデータ） (2023-10-30T15:57:32Z)
• Scaling laws for language encoding models in fMRI [47.498241053872924]
  我々は、fMRIを用いて記録された脳の反応を予測するために、より大きなオープンソースモデルの方が優れているかどうかを検証した。 同様の対数行動は、fMRIトレーニングセットのサイズを拡大する際に観察された。 これらの結果は、脳内の言語処理の極めて効果的なモデルが得られることを示唆している。
  論文  参考訳（メタデータ） (2023-05-19T17:53:03Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。