論文の概要: Should attention be all we need? The epistemic and ethical implications of unification in machine learning

• arxiv url: http://arxiv.org/abs/2205.08377v1
• Date: Mon, 9 May 2022 21:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-22 14:10:40.496010
• Title: Should attention be all we need? The epistemic and ethical implications of unification in machine learning
• Title（参考訳）: 注意が必要か? 機械学習における統合の疫学的・倫理的意味
• Authors: Nic Fishman, Leif Hancox-Li
• Abstract要約: 「注意は必要なだけ」は機械学習研究の根本的規範となっている。 「注意は必要なだけ」は機械学習研究の根本的規範となっている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: "Attention is all you need" has become a fundamental precept in machine learning research. Originally designed for machine translation, transformers and the attention mechanisms that underpin them now find success across many problem domains. With the apparent domain-agnostic success of transformers, many researchers are excited that similar model architectures can be successfully deployed across diverse applications in vision, language and beyond. We consider the benefits and risks of these waves of unification on both epistemic and ethical fronts. On the epistemic side, we argue that many of the arguments in favor of unification in the natural sciences fail to transfer over to the machine learning case, or transfer over only under assumptions that might not hold. Unification also introduces epistemic risks related to portability, path dependency, methodological diversity, and increased black-boxing. On the ethical side, we discuss risks emerging from epistemic concerns, further marginalizing underrepresented perspectives, the centralization of power, and having fewer models across more domains of application
• Abstract（参考訳）: 「注意は必要なだけ」は機械学習研究の根本的規範となっている。 元々は機械翻訳、トランスフォーマー、そしてそれらを支える注意機構のために設計されたが、今では多くの問題領域で成功している。 トランスフォーマーの明らかにドメインに依存しない成功によって、多くの研究者は、同様のモデルアーキテクチャが視覚、言語、その他の様々なアプリケーションにうまくデプロイできることに興奮しています。 我々は、これらの統合の波の利点とリスクを、疫学と倫理の両面で検討する。 疫学的な側面では、自然科学の一元化を支持する議論の多くは、機械学習のケースに受け継がれなかったり、持たない仮定の下でのみ受け継がれなかったりしている。 統一はまた、移植性、経路依存、方法論的多様性、ブラックボックスの増加に関連するてんかんのリスクも導入する。 倫理面では、疫学的な懸念から生じるリスク、未表現の視点をさらに疎外し、権力の中央集権化、より多くの適用領域にまたがるモデルが少ないことについて議論する。

関連論文リスト

• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Learning Causal Mechanisms through Orthogonal Neural Networks [2.77390041716769]
  歪みデータポイントから独立したメカニズムの集合の逆転を,教師なしの方法で学習する問題について検討する。 本研究では,ラベルのないデータから独立したメカニズムの集合を発見・解離する教師なしの手法を提案し,それらを逆転する方法を学習する。
  論文  参考訳（メタデータ） (2023-06-05T13:11:33Z)
• Graph Enabled Cross-Domain Knowledge Transfer [1.52292571922932]
  クロスドメイン・ナレッジ・トランスファー(クロスドメイン・ナレッジ・トランスファー)は、優れた表現学習と関心領域における知識不足のギャップを軽減するためのアプローチである。 機械学習の観点からは、半教師付き学習のパラダイムは、基礎的な真実なしに大量のデータを活用し、目覚ましい学習性能向上を実現する。
  論文  参考訳（メタデータ） (2023-04-07T03:02:10Z)
• Attacks in Adversarial Machine Learning: A Systematic Survey from the Life-cycle Perspective [69.25513235556635]
  敵対的機械学習(英: Adversarial Machine Learning、AML)は、機械学習の逆行現象を研究する。 機械学習システムの異なる段階で発生するこの敵対現象を探求するために、いくつかのパラダイムが最近開発された。 既存の攻撃パラダイムをカバーするための統一的な数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-02-19T02:12:21Z)
• Liability regimes in the age of AI: a use-case driven analysis of the burden of proof [1.7510020208193926]
  人工知能(AI)を利用した新しいテクノロジーは、私たちの社会をより良く、破壊的に変革する可能性を秘めている。 しかし、安全と基本的権利の両方に潜在的なリスクをもたらす、これらの方法論の固有の特性に対する懸念が高まっている。 本稿では,これらの難易度を示す3つのケーススタディと,それらに到達するための方法論について述べる。
  論文  参考訳（メタデータ） (2022-11-03T13:55:36Z)
• Foundations and Recent Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions [68.6358773622615]
  本稿では,マルチモーダル機械学習の計算的基礎と理論的基礎について概説する。 本稿では,表現,アライメント,推論,生成,伝達,定量化という,6つの技術課題の分類法を提案する。 最近の技術的成果は、この分類のレンズを通して示され、研究者は新しいアプローチの類似点と相違点を理解することができる。
  論文  参考訳（メタデータ） (2022-09-07T19:21:19Z)
• Modeling Transformative AI Risks (MTAIR) Project -- Summary Report [0.0]
  このレポートは、Cottier氏とShah氏による以前の図に基づいており、いくつかの説明とともに、視覚的に重要な不一致(クラックス)をいくつか説明した。 このモデルは、アナロジーと人工知能に関する一般的な以前の信念による推論に関する議論から始まる。 さまざまなパスのモデルをレイアウトし、ハイレベルなマシンインテリジェンスのためのテクノロジーと、これらのシステムの能力の進歩のモデルを構築している。 このモデルは、学習した最適化の問題や、機械学習システムがメザ最適化を作成するかどうかについても特に注目している。
  論文  参考訳（メタデータ） (2022-06-19T09:11:23Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)
• Towards Causal Representation Learning [96.110881654479]
  機械学習とグラフィカル因果関係の2つの分野が生まれ、別々に発展した。 現在、他分野の進歩の恩恵を受けるために、クロスポリン化と両方の分野への関心が高まっている。
  論文  参考訳（メタデータ） (2021-02-22T15:26:57Z)
• Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning [69.99522650448213]
  機械学習の研究は転換点にある。 研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。 このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
  論文  参考訳（メタデータ） (2020-12-21T15:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。