Fugu-MT 論文翻訳(概要): Uncovering Implicit Bias in Large Language Models with Concept Learning Dataset

論文の概要: Uncovering Implicit Bias in Large Language Models with Concept Learning Dataset

arxiv url: http://arxiv.org/abs/2510.01219v1
Date: Sun, 21 Sep 2025 09:04:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-06 05:29:07.846995
Title: Uncovering Implicit Bias in Large Language Models with Concept Learning Dataset
Title（参考訳）: 概念学習データセットを用いた大規模言語モデルにおける暗黙のバイアスの発見
Authors: Leroy Z. Wang,
Abstract要約: 文脈内概念学習実験を用いて、量子化器における言語モデルは上向きの単調性に偏りがあることを発見した。これは、言語モデルに隠れたバイアスを発見する効果的な方法として、コンテキスト内概念学習が有効であることを示している。
参考スコア（独自算出の注目度）: 0.038073142980733
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a dataset of concept learning tasks that helps uncover implicit biases in large language models. Using in-context concept learning experiments, we found that language models may have a bias toward upward monotonicity in quantifiers; such bias is less apparent when the model is tested by direct prompting without concept learning components. This demonstrates that in-context concept learning can be an effective way to discover hidden biases in language models.
Abstract（参考訳）: 大規模言語モデルにおける暗黙のバイアスを明らかにするために,概念学習タスクのデータセットを導入する。文脈内概念学習実験を用いて、言語モデルが量子化器における上向きの単調性に偏りがあることを発見した。これは、言語モデルに隠れたバイアスを発見する効果的な方法として、コンテキスト内概念学習が有効であることを示している。

関連論文リスト

Mitigating Biases in Language Models via Bias Unlearning [27.565946855618368]
両経路のアンラーニング機構によって目的のデバイアスを実現する新しいモデルデバイアスフレームワークであるBiasUnlearnを提案する。その結果、BiasUnlearnは言語モデルにおけるバイアスを軽減するために既存の手法よりも優れており、言語モデリング能力は維持されていることがわかった。
論文参考訳（メタデータ） (2025-09-30T02:15:12Z)
Collapsed Language Models Promote Fairness [88.48232731113306]
偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
論文参考訳（メタデータ） (2024-10-06T13:09:48Z)
Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文参考訳（メタデータ） (2023-11-08T20:41:18Z)
Towards Understanding What Code Language Models Learned [10.989953856458996]
事前訓練された言語モデルは、様々な自然言語処理に有効である。彼らの能力は、完全に学習する意味や言語を理解する能力に欠けている、と論じられている。本研究は,表面周波数と共起を超越した,コードのセマンティクスをキャプチャする能力について考察する。
論文参考訳（メタデータ） (2023-06-20T23:42:14Z)
Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文参考訳（メタデータ） (2023-06-04T15:44:51Z)
Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文参考訳（メタデータ） (2023-01-31T20:09:33Z)
Counteracts: Testing Stereotypical Representation in Pre-trained Language Models [4.211128681972148]
我々は,事前学習言語モデル(PLM)の内部ステレオタイプ知識を調べるために,反例を用いている。我々は,9種類のクローゼスタイルのプロンプトに対して,異なる情報と基本知識で7つのPLMを評価する。
論文参考訳（メタデータ） (2023-01-11T07:52:59Z)
Debiasing Methods in Natural Language Understanding Make Bias More Accessible [28.877572447481683]
自然言語理解(NLU)における近年のデバイアス化手法は,モデルを押して非バイアス予測を行うことにより,そのようなデータセットの性能を向上させる。本稿では,言語モデルにおけるバイアスのポストホック解釈を可能にする,一般的な探索型フレームワークを提案する。反故意に、言語モデルが偏見のない体制にプッシュされるほど、バイアスが実際に内部表現にエンコードされることが示される。
論文参考訳（メタデータ） (2021-09-09T08:28:22Z)
Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。本稿では,これらの問題点を無視する学習モデルについて述べる。
論文参考訳（メタデータ） (2020-12-02T16:10:54Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。