論文の概要: On Catastrophic Inheritance of Large Foundation Models

• arxiv url: http://arxiv.org/abs/2402.01909v1
• Date: Fri, 2 Feb 2024 21:21:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 23:25:02.399970
• Title: On Catastrophic Inheritance of Large Foundation Models
• Title（参考訳）: 大規模基盤モデルの破滅的継承について
• Authors: Hao Chen, Bhiksha Raj, Xing Xie, Jindong Wang
• Abstract要約: 大ファンデーションモデル(LFM)は素晴らしいパフォーマンスを誇示している。しかし、彼らの神話的および解釈されていないポテンシャルについて大きな懸念が持ち上がっている。 我々は, LFMに深く根ざした「破滅的継承」という, 無視された問題を特定することを提案する。 この問題の背景にある課題を議論し、事前学習と下流適応の両方からLFMの破滅的な継承を理解するためのフレームワークであるUIMを提案する。
• 参考スコア（独自算出の注目度）: 56.169678293678885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large foundation models (LFMs) are claiming incredible performances. Yet great concerns have been raised about their mythic and uninterpreted potentials not only in machine learning, but also in various other disciplines. In this position paper, we propose to identify a neglected issue deeply rooted in LFMs: Catastrophic Inheritance, describing the weaknesses and limitations inherited from biased large-scale pre-training data to behaviors of LFMs on the downstream tasks, including samples that are corrupted, long-tailed, noisy, out-of-distributed, to name a few. Such inheritance can potentially cause catastrophes to downstream applications, such as bias, lack of generalization, deteriorated performance, security vulnerability, privacy leakage, and value misalignment. We discuss the challenges behind this issue and propose UIM, a framework to Understand the catastrophic inheritance of LFMs from both pre-training and downstream adaptation, Interpret the implications of catastrophic inheritance on downstream tasks, and how to Mitigate it. UIM aims to unite both the machine learning and social sciences communities for more responsible and promising AI development and deployment.
• Abstract（参考訳）: 大きな基礎モデル(LFM)は素晴らしいパフォーマンスを誇示しています。 しかし、その神話的かつ未解釈の可能性は、機械学習だけでなく、他の様々な分野にも大きな関心が寄せられている。 本稿では,LFMに深く根ざした無視された問題を特定することを提案する。 破滅的継承(Caastrophic Inheritance)は,大規模事前学習データから,下流のタスクにおけるLFMの動作への欠陥や制限を記述したものである。 このような継承は、バイアス、一般化の欠如、パフォーマンスの低下、セキュリティの脆弱性、プライバシーの漏洩、価値の誤調整などのダウンストリームアプリケーションに大惨事を引き起こす可能性がある。 この問題の背景にある課題を論じ,事前学習と下流適応の両方からLFMの破滅的な継承を理解するためのフレームワークであるUIMを提案し,下流タスクにおける破滅的な継承の影響を解釈し,それを緩和する方法を提案する。 UIMは、機械学習と社会科学の両方のコミュニティを統合して、より責任を持ち、有望なAI開発とデプロイメントを目指している。

関連論文リスト

• Stars, Stripes, and Silicon: Unravelling the ChatGPT's All-American, Monochrome, Cis-centric Bias [0.0]
  論文はこれらの課題に対処するための学際的な取り組みを求めている。 ガバナンスフレームワークを確立するために、研究者、実践者、ステークホルダー間のコラボレーションの必要性を強調します。
  論文  参考訳（メタデータ） (2024-10-02T08:55:00Z)
• Metacognitive Myopia in Large Language Models [0.0]
  大規模言語モデル(LLM)は、文化的に固有のステレオタイプ、クラウドの道徳的判断、あるいは多数派の肯定的な評価を強化する潜在的に有害なバイアスを示す。 認知・生態的枠組みとしてメタ認知ミオピアを提案する。 我々の理論的枠組みは, メタ認知, 監視, 制御の2つの要素が欠如していることが, メタ認知性ミオピアの5つの症状を引き起こすことを示唆している。
  論文  参考訳（メタデータ） (2024-08-10T14:43:57Z)
• Detecting and Understanding Vulnerabilities in Language Models via Mechanistic Interpretability [44.99833362998488]
  大規模言語モデル(LLM)は、幅広いタスクで素晴らしいパフォーマンスを示している。 特にLSMは敵攻撃に弱いことが知られており、入力に対する非受容的な変更はモデルの出力を誤解させる可能性がある。 本稿では,メカニスティック・インタプリタビリティ(MI)技術に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T09:55:34Z)
• The Reasoning Under Uncertainty Trap: A Structural AI Risk [0.0]
  RUUを人間と機械の両方にとって困難なものにしているのは、レポートにある。 この誤用リスクが、基盤となる構造的リスクのネットワークとどのように結びつくのかを詳述する。
  論文  参考訳（メタデータ） (2024-01-29T17:16:57Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• Mitigating Prior Errors in Causal Structure Learning: Towards LLM driven Prior Knowledge [17.634793921251777]
  我々は,Large Language Models (LLM) の誤った因果文に対処することを目指している。 先駆的な試みとして,人間の介入を必要とせず,事前エラーに耐性のあるBN学習戦略を提案する。 具体的には、正しい事前知識の大多数を維持しながら、オーダー逆誤差に抵抗する実質的な能力を強調します。
  論文  参考訳（メタデータ） (2023-06-12T11:24:48Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• On the Opportunities and Risks of Foundation Models [256.61956234436553]
  これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
  論文  参考訳（メタデータ） (2021-08-16T17:50:08Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。