論文の概要: On the Threat Model of Weird Generalization and Emergent Misalignment

• arxiv url: http://arxiv.org/abs/2608.23476v1
• Date: Mon, 24 Aug 2026 16:41:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.201436
• Title: On the Threat Model of Weird Generalization and Emergent Misalignment
• Title（参考訳）: ワイド一般化と創発的ミスアライメントの脅威モデルについて
• Abstract要約: ワイド一般化は、小さなドメイン固有のデータセット上でモデル行動が変化するときに起こる。 本研究では,モデルのパラメトリック知識に対するデータセットのサイズ,構成,言語,プレゼンテーションスタイル,新規性について検討する。
• 参考スコア（独自算出の注目度）: 12.271601071235729
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Narrow fine-tuning on small, domain-specific datasets can produce broad and surprising changes in model behavior-a phenomenon called weird generalization (WG). Yet, it remains unclear what features of the fine-tuning data are necessary for WG to arise. Here, we address this question by investigating a range of plausibly relevant features, including dataset size, composition, language, presentation style, and novelty relative to a model's parametric knowledge. Further, since WG evaluations rely on small question sets that assess the extent of the generalization, we also analyze how sensitive this measurement is to the set of questions used. Experiments with three open-weight models on four datasets show that the degree of WG (1) depends heavily on dataset composition and language (more than on size); (2) is greater for data familiar from pretraining than for novel data; and (3) is sensitive to the set of evaluation questions used. Collectively, these results indicate that WG is a product of quite fragile properties of both training and evaluation data. As such, we argue that WG is more plausible as an adversarial threat-requiring careful data engineering-rather than as a significant hazard inherent to routine fine-tuning.
• Abstract（参考訳）: ドメイン固有の小さなデータセットの狭い微調整は、モデル行動の広範かつ驚くべき変化をもたらす可能性がある。 しかし、WGが必要とする微調整データの特徴は明らかになっていない。 そこで本研究では,データセットのサイズ,構成,言語,プレゼンテーションスタイル,モデルのパラメトリック知識に対する新規性など,関連性の高い機能について検討することによって,この問題に対処する。 さらに、WG評価は、一般化の程度を評価する小さな質問セットに依存しているため、この測定が使用される質問セットにどれほど敏感であるかも分析する。 3つのオープンウェイトモデルを用いた実験では,(1)WGの度合いがデータセットの構成や言語(サイズよりも大きい)に大きく依存していること,(2)事前学習に精通したデータの方が新しいデータよりも大きいこと,(3)使用した評価質問の集合に敏感であること,などが示されている。 これらの結果から,WGはトレーニングデータと評価データの両方の極めて脆弱な性質の産物であることが示唆された。 このように、WGは、日常的な微調整に固有の重大な危険よりも、敵対的な脅威を伴う慎重なデータエンジニアリングとして、より妥当である、と論じる。

関連論文リスト

• Causal Synthetic Data Generation in Recruitment [9.386057453361593]
  アクセス可能な代表データの欠如は、公正で透明な機械学習モデルの開発に重大な障害をもたらす。 因果生成モデル(CGM)の最近の進歩は、有望な解決策を提供する。
  論文  参考訳（メタデータ） (2025-11-20T10:14:33Z)
• A Dataset for Semantic Segmentation in the Presence of Unknowns [49.795683850385956]
  既存のデータセットは、既知のものや未知のもののみの評価を可能にするが、両方ではない。 乱雑な実環境からの多様な異常な入力を特徴とする,新しい異常セグメンテーションデータセットISSUを提案する。 データセットは、既存の異常セグメンテーションデータセットの2倍大きい。
  論文  参考訳（メタデータ） (2025-03-28T10:31:01Z)
• Evaluating Facial Expression Recognition Datasets for Deep Learning: A Benchmark Study with Novel Similarity Metrics [4.137346786534721]
  本研究では,ディープラーニングモデルの学習に広く用いられている顔表情認識(FER)データセットの特徴と適合性について検討した。 子ども, 成人, 高齢者など特定の年齢層を対象として, 24 FER データセットを収集, 分析した。 最先端のニューラルネットワークを用いたベンチマーク実験では、大規模で自動収集されたデータセットがより一般化される傾向があることが明らかになった。
  論文  参考訳（メタデータ） (2025-03-26T11:01:00Z)
• Zero-Shot Stance Detection using Contextual Data Generation with LLMs [0.04096453902709291]
  文脈データ生成(DyMoAdapt)を用いた動的モデル適応法を提案する。 このアプローチでは、テスト時に既存のモデルを微調整することを目的としています。 GPT-3を用いてトピック固有の新しいデータを生成する。 この方法は、新しいトピックへのモデルの適応を可能にすることで、性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-05-19T17:58:26Z)
• A Critical Review of Large Language Models: Sensitivity, Bias, and the Path Toward Specialized AI [0.0]
  本稿では,テキストデータ中のSDGの検出における,特殊なコンパイル言語モデルとOpenAIのGPT-3.5のような汎用モデルの比較の有効性について検討する。 この研究は、LLMの能力とドメイン固有の専門知識と解釈可能性の必要性のバランスを見つけるために、さらなる研究を奨励することで締めくくっている。
  論文  参考訳（メタデータ） (2023-07-28T09:20:22Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Effect Identification in Cluster Causal Diagrams [51.42809552422494]
  クラスタ因果図(略してC-DAG)と呼ばれる新しいタイプのグラフィカルモデルを導入する。 C-DAGは、限定された事前知識に基づいて変数間の関係を部分的に定義することができる。 我々はC-DAGに対する因果推論のための基礎と機械を開発する。
  論文  参考訳（メタデータ） (2022-02-22T21:27:31Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets [64.76453161039973]
  REVISE(Revealing VIsual biaSEs)は、視覚的データセットの調査を支援するツールである。 1)オブジェクトベース,(2)個人ベース,(3)地理ベースという3つの次元に沿った潜在的なバイアスを呈示する。
  論文  参考訳（メタデータ） (2020-04-16T23:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。