Fugu-MT 論文翻訳(概要): Anthropocentric bias in language model evaluation

論文の概要: Anthropocentric bias in language model evaluation

arxiv url: http://arxiv.org/abs/2407.03859v2
Date: Sat, 21 Jun 2025 07:53:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-24 19:06:36.191604
Title: Anthropocentric bias in language model evaluation
Title（参考訳）: 言語モデル評価における人類中心バイアス
Authors: Raphaël Millière, Charles Rathkopf,
Abstract要約: 本稿では, 無視された2種類の人間中心バイアスについて述べる。能力に拘わらずLCMのパフォーマンスを阻害する補助要因を見渡せます。真に有能でない人間とは異なる機械的戦略を否定する
参考スコア（独自算出の注目度）: 0.047888359248129786
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Evaluating the cognitive capacities of large language models (LLMs) requires overcoming not only anthropomorphic but also anthropocentric biases. This article identifies two types of anthropocentric bias that have been neglected: overlooking how auxiliary factors can impede LLM performance despite competence ("auxiliary oversight"), and dismissing LLM mechanistic strategies that differ from those of humans as not genuinely competent ("mechanistic chauvinism"). Mitigating these biases necessitates an empirically-driven, iterative approach to mapping cognitive tasks to LLM-specific capacities and mechanisms, which can be done by supplementing carefully designed behavioral experiments with mechanistic studies.
Abstract（参考訳）: 大規模言語モデル(LLM)の認知能力を評価するには、人文型だけでなく人文中心のバイアスも克服する必要がある。本稿では,人間中心バイアスが無視されている2つのタイプを,能力に拘わらず,補助的要因がLLMのパフォーマンスを損なうかを見極めること(「補助的監視」)と,人間とは真に有能ではないとして,LLMの機械的戦略を否定すること(「機械的カルヴァン主義」)である。これらのバイアスを緩和するには、認知タスクをLLM固有の能力とメカニズムにマッピングするための経験的かつ反復的なアプローチが必要である。

関連論文リスト

Measurement of LLM's Philosophies of Human Nature [113.47929131143766]
大規模言語モデル(LLM)を対象とする標準化された心理尺度を設計する。現在のLSMは、人間に対する信頼の欠如を示す。本稿では,LLMが継続的に価値体系を最適化できるメンタルループ学習フレームワークを提案する。
論文参考訳（メタデータ） (2025-04-03T06:22:19Z)
Giving AI Personalities Leads to More Human-Like Reasoning [7.124736158080938]
我々は,人間集団の多様な推論行動を模倣するAIの可能性について検討する。自然言語推論(NLI)フォーマットを新たに一般化した推論タスクを設計した。我々は、人格特性を反映したAI応答を誘発するために、ビッグファイブのパーソナリティモデルにインスパイアされたパーソナリティベースのプロンプトを用いた。
論文参考訳（メタデータ） (2025-02-19T23:51:23Z)
Thinking beyond the anthropomorphic paradigm benefits LLM research [1.7392902719515677]
私たちは過去10年で何十万ものコンピュータサイエンス研究論文を分析しました。大型言語モデル(LLM)研究における人類型用語の有病率と成長の実証的証拠を提示する。これらの概念化は制限されている可能性があり、人間の類推を超えてLLMの理解と改善のための新たな道を開くと我々は主張する。
論文参考訳（メタデータ） (2025-02-13T11:32:09Z)
Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models [26.333097337393685]
ユーザーが大きな言語モデル(LLM)を人為的に形作る傾向は、AI開発者、研究者、政策立案者への関心が高まっている。本稿では,現実的かつ多様な環境下での人為的 LLM の挙動を実証的に評価する手法を提案する。まず,14の人為的行動のマルチターン評価を開発する。次に,ユーザインタラクションのシミュレーションを用いて,スケーラブルで自動化されたアプローチを提案する。第3に,対話型大規模人体調査(N=1101)を実施し,実際のユーザの人文的知覚を予測するモデル行動を検証する。
論文参考訳（メタデータ） (2025-02-10T22:09:57Z)
Emergence of human-like polarization among large language model agents [61.622596148368906]
我々は、何千もの大規模言語モデルエージェントを含むネットワーク化されたシステムをシミュレートし、それらの社会的相互作用を発見し、人間のような偏極をもたらす。人間とLLMエージェントの類似性は、社会的分極を増幅する能力に関する懸念を提起するだけでなく、それを緩和するための有効な戦略を特定するための貴重なテストベッドとして機能する可能性も持っている。
論文参考訳（メタデータ） (2025-01-09T11:45:05Z)
Humanlike Cognitive Patterns as Emergent Phenomena in Large Language Models [2.9312156642007294]
我々は、意思決定バイアス、推論、創造性の3つの重要な認知領域にわたって、大規模言語モデルの能力を体系的にレビューする。意思決定では、LSMはいくつかの人間のようなバイアスを示すが、人間の観察するバイアスは欠落している。 GPT-4のような先進的なLCMは、人間のシステム2思考に似た熟考的推論を示し、小さなモデルは人間レベルの性能に欠ける。 LLMはストーリーテリングのような言語ベースの創造的なタスクに優れているが、現実の文脈を必要とする散発的な思考タスクに苦労する。
論文参考訳（メタデータ） (2024-12-20T02:26:56Z)
Can Language Models Learn to Skip Steps? [59.84848399905409]
我々は推論においてステップをスキップする能力について研究する。効率を高めたり認知負荷を減らすためのステップをスキップする人間とは異なり、モデルはそのようなモチベーションを持っていない。私たちの研究は、人間のようなステップスキッピング能力に関する最初の調査である。
論文参考訳（メタデータ） (2024-11-04T07:10:24Z)
Alleviating Hallucinations in Large Language Models with Scepticism Modeling [7.976667090775774]
幻覚は、大きな言語モデル(LLM)にとって大きな課題である。不確実性推定は幻覚の損傷を軽減するために用いられる。この観察により、我々は懐疑論モデリング(SM)と呼ばれる新しいアプローチを提案した。
論文参考訳（メタデータ） (2024-09-10T15:51:15Z)
Predicting and Understanding Human Action Decisions: Insights from Large Language Models and Cognitive Instance-Based Learning [0.0]
大きな言語モデル(LLM)は、様々なタスクにまたがってその能力を実証している。本稿では,LLMの推論と生成能力を利用して,2つの逐次意思決定タスクにおける人間の行動を予測する。我々は,LLMの性能を,人間の経験的意思決定を模倣した認知的インスタンスベース学習モデルと比較した。
論文参考訳（メタデータ） (2024-07-12T14:13:06Z)
Language Models Trained to do Arithmetic Predict Human Risky and Intertemporal Choice [4.029252551781513]
本稿では,認知モデルとしての大規模言語モデルの有用性を高める新しい手法を提案する。生態学的に有効な算術的データセットに基づいて事前訓練されたLLMは、従来の認知モデルよりも人間の行動を予測する。
論文参考訳（メタデータ） (2024-05-29T17:37:14Z)
Generative AI as a metacognitive agent: A comparative mixed-method study with human participants on ICF-mimicking exam performance [0.0]
本研究は,国際コーチング連盟 ICF 試験の文脈において,人間のメタ認知に対する大規模言語モデルのメタ認知能力について検討した。混合手法を用いて,ヒトと5種類の高度なLDMのメタ認知能力を評価した。以上の結果から,LLMはすべてのメタ認知的指標,特に過信率の低下において,人間よりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-05-07T22:15:12Z)
CausalGym: Benchmarking causal interpretability methods on linguistic tasks [52.61917615039112]
CausalGymを使って、モデル動作に因果的に影響を及ぼす解釈可能性手法のベンチマークを行う。ピチアモデル (14M--6.9B) について検討し, 幅広い解釈可能性手法の因果効果について検討した。 DASは他の手法よりも優れており、2つの困難な言語現象の学習軌跡の研究に利用している。
論文参考訳（メタデータ） (2024-02-19T21:35:56Z)
Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。既存の感受性研究は、自己報告された信念に大きく依存している。本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
論文参考訳（メタデータ） (2023-11-16T07:22:56Z)
Studying and improving reasoning in humans and machines [0.0]
大規模言語モデル(LLM)と人間における推論について検討し比較する。以上の結果から, 含んでいるモデルの多くは, しばしばエラーを起こし, インデューサに基づく人間の推論に類似した推論誤差を示していた。
論文参考訳（メタデータ） (2023-09-21T21:02:05Z)
Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。 MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文参考訳（メタデータ） (2022-05-20T07:32:57Z)
Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
論文参考訳（メタデータ） (2022-04-17T11:21:18Z)
ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
論文参考訳（メタデータ） (2021-03-26T02:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。