Fugu-MT 論文翻訳(概要): Selection Collider Bias in Large Language Models

論文の概要: Selection Collider Bias in Large Language Models

arxiv url: http://arxiv.org/abs/2208.10063v1
Date: Mon, 22 Aug 2022 05:38:15 GMT
ステータス: 処理完了
システム内更新日: 2022-08-23 12:16:39.196956
Title: Selection Collider Bias in Large Language Models
Title（参考訳）: 大規模言語モデルにおける選択衝突バイアス
Authors: Emily McMilin
Abstract要約: 我々は、サンプル選択誘導コライダーバイアス(選択コライダーバイアス)の背景にある因果メカニズムを動機づける選択コライダーバイアスは、未特定学習タスクにおいて増幅可能であることを示す。本稿では,モデルが予測に不確実であるかどうかを判断するために,結果の素因的相関を利用する手法について述べる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper we motivate the causal mechanisms behind sample selection induced collider bias (selection collider bias) that can cause Large Language Models (LLMs) to learn unconditional dependence between entities that are unconditionally independent in the real world. We show that selection collider bias can be amplified in underspecified learning tasks, and that the magnitude of the resulting spurious correlations appear scale agnostic. While selection collider bias can be difficult to overcome, we describe a method to exploit the resulting spurious correlations for determination of when a model may be uncertain about its prediction, and demonstrate that it matches human uncertainty in tasks with gender pronoun underspecification on an extended version of the Winogender Schemas evaluation set.
Abstract（参考訳）: 本稿では,サンプル選択誘導コライダーバイアス(選択コライダーバイアス)の背景にある因果的メカニズムを動機付け,Large Language Models (LLMs) が実世界で無条件に独立なエンティティ間の非条件依存を学習できるようにする。選択型衝突型バイアスは,不特定な学習課題において増幅され,結果として生じるスプリアス相関の大きさはスケール非依存にみえる。選択コライダーバイアスは克服し難いが,モデルが予測に不確実であるかどうかを判断するために,結果の素因的相関を利用する手法について述べるとともに,Winogender Schemas 評価セットの拡張版において,タスクにおける人間の不確実性と性別代名詞の不特定性とを一致させることを示す。

関連論文リスト

Probability of Differentiation Reveals Brittleness of Homogeneity Bias in Large Language Models [0.0]
LLM(Large Language Models)における均一性バイアス(英語版)とは、ある集団の表現を他と比較して均質化する傾向を指す。このバイアスを文書化する以前の研究は、主にエンコーダモデルを使用しており、それは必然的にバイアスを導入した可能性がある。本研究は、エンコーダモデルをバイパスして、モデル出力から均一性バイアスを直接評価する。
論文参考訳（メタデータ） (2024-07-10T02:56:55Z)
Detecting and Identifying Selection Structure in Sequential Data [53.24493902162797]
我々は,音楽のシーケンスなどの実践的な状況において,潜在目的に基づくデータポイントの選択的包摂が一般的である,と論じる。選択構造はパラメトリックな仮定や介入実験なしで識別可能であることを示す。また、他の種類の依存関係と同様に、選択構造を検知し、識別するための証明可能な正当性アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-29T20:56:34Z)
Reducing Selection Bias in Large Language Models [0.0]
大規模言語モデル(LLM)は意味的タスクの解釈と実行に不可欠である。本研究は、これらのバイアスを批判的に検討し、代表リスト選択タスクへの影響を定量化する。
論文参考訳（メタデータ） (2024-01-29T15:43:23Z)
Bias-Conflict Sample Synthesis and Adversarial Removal Debias Strategy for Temporal Sentence Grounding in Video [67.24316233946381]
TSGV(Temporal Sentence Grounding in Video)は、データセットバイアスの問題に悩まされている。偏りを伴うサンプル合成と逆行性除去脱バイアス戦略(BSSARD)を提案する。
論文参考訳（メタデータ） (2024-01-15T09:59:43Z)
Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文参考訳（メタデータ） (2023-06-19T18:48:15Z)
Invariant Causal Set Covering Machines [64.86459157191346]
決定木のようなルールベースのモデルは、解釈可能な性質のために実践者にアピールする。しかし、そのようなモデルを生成する学習アルゴリズムは、しばしば刺激的な関連に弱いため、因果関係の洞察を抽出することが保証されていない。 Invariant Causal Set Covering Machines は、古典的集合被覆マシンアルゴリズムの拡張であり、二値ルールの結合/分離を可能とし、スプリアス関係を確実に回避する。
論文参考訳（メタデータ） (2023-06-07T20:52:01Z)
Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文参考訳（メタデータ） (2023-02-22T14:50:24Z)
Selection Bias Induced Spurious Correlations in Large Language Models [0.0]
大規模言語モデル(LLM)が,データセット選択バイアスによる非条件独立変数間の統計的依存関係をいかに学習できるかを示す。我々は、予測された性別代名詞とさまざまな性別中立変数との素早い相関を明らかにするために、BERTファミリーモデルに適用可能なマスク付きジェンダータスクを開発した。
論文参考訳（メタデータ） (2022-07-18T23:43:52Z)
A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。このアプローチは大量のバイアスに対して非常に堅牢であることを示す。生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
論文参考訳（メタデータ） (2021-08-31T17:59:45Z)
Understanding Prediction Discrepancies in Machine Learning Classifiers [4.940323406667406]
本稿では,同一データ上で訓練された最高の性能モデル群における予測誤差を分析することを提案する。モデルに依存しないアルゴリズムであるDIGは,局所的に不一致を捉え,説明するために提案される。
論文参考訳（メタデータ） (2021-04-12T13:42:50Z)
Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。