論文の概要: Omitted Variable Bias in Language Models Under Distribution Shift

• arxiv url: http://arxiv.org/abs/2602.16784v1
• Date: Wed, 18 Feb 2026 19:00:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.290805
• Title: Omitted Variable Bias in Language Models Under Distribution Shift
• Title（参考訳）: 分散シフト下における言語モデルにおけるオミテッド可変バイアス
• Authors: Victoria Lin, Louis-Philippe Morency, Eli Ben-Michael,
• Abstract要約: 本稿では,言語モデルの分布変化を可観測成分と可観測成分に分割する方法を示す。 本稿では,言語モデルの最悪の一般化性能に基づいて,省略変数の強みを境界値にマッピングするフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 22.663393629883206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their impressive performance on a wide variety of tasks, modern language models remain susceptible to distribution shifts, exhibiting brittle behavior when evaluated on data that differs in distribution from their training data. In this paper, we describe how distribution shifts in language models can be separated into observable and unobservable components, and we discuss how established approaches for dealing with distribution shift address only the former. Importantly, we identify that the resulting omitted variable bias from unobserved variables can compromise both evaluation and optimization in language models. To address this challenge, we introduce a framework that maps the strength of the omitted variables to bounds on the worst-case generalization performance of language models under distribution shift. In empirical experiments, we show that using these bounds directly in language model evaluation and optimization provides more principled measures of out-of-distribution performance, improves true out-of-distribution performance relative to standard distribution shift adjustment methods, and further enables inference about the strength of the omitted variables when target distribution labels are available.
• Abstract（参考訳）: 様々なタスクにおける印象的なパフォーマンスにもかかわらず、現代の言語モデルは分散シフトの影響を受けにくいままであり、トレーニングデータと分散が異なるデータで評価された場合、不安定な振る舞いを示す。 本稿では,言語モデルの分布シフトを可観測成分と可観測成分に分割する方法を述べる。 重要なことは、未観測変数から得られた省略変数バイアスが、言語モデルにおける評価と最適化の両方を損なう可能性があることである。 この課題に対処するために、分散シフト中の言語モデルの最悪の一般化性能に基づいて、省略変数の強みを境界にマッピングするフレームワークを導入する。 実験的な実験では,これらの境界を言語モデル評価や最適化に直接使用することにより,分布外分布性能のより原理化された測定方法が提供され,標準分布シフト調整法と比較して真の分布外分布性能が向上し,目標分布ラベルが利用できる場合の省略変数の強度に関する推論が可能になる。

関連論文リスト

• Cross-modality debiasing: using language to mitigate sub-population shifts in imaging [28.88097536026781]
  サブポピュレーションシフトは、アルゴリズムバイアスの重要な源であり、分散ロバスト性を要求する。 近年の研究では、視覚言語モデルCLIPのような多モード基礎モデルに固有の分布ロバスト性が確認されている。 本稿では,画像特徴表現の劣化を抑えるために自然言語入力を活用することを提案する。
  論文  参考訳（メタデータ） (2024-02-02T18:54:48Z)
• "Why did the Model Fail?": Attributing Model Performance Changes to Distribution Shifts [17.381178048938068]
  本稿では,環境間の性能差を基礎となるデータ生成機構の分散シフトに寄与する問題を紹介する。 任意の分布の集合の値を計算するための重み付け法を導出する。 本研究では, 合成, 半合成, 実世界のケーススタディにおいて, 提案手法の正しさと有用性を示す。
  論文  参考訳（メタデータ） (2022-10-19T17:58:09Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models [11.148662334602639]
  既存の言語モデルの位置埋め込みを分析し、翻訳不変性の強い証拠を見出す。 本稿では,トークン間の相対的な位置を解釈可能な方法で記述する翻訳不変自己アテンション(TISA)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T15:56:26Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
  信頼性正則化という新しいデバイアス化手法を導入する。 モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。 提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-01T11:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。