論文の概要: Towards Trustworthy and Aligned Machine Learning: A Data-centric Survey with Causality Perspectives

• arxiv url: http://arxiv.org/abs/2307.16851v1
• Date: Mon, 31 Jul 2023 17:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 13:22:46.170853
• Title: Towards Trustworthy and Aligned Machine Learning: A Data-centric Survey with Causality Perspectives
• Title（参考訳）: 信頼できる機械学習を目指して - 因果関係を考慮したデータ中心の調査
• Authors: Haoyang Liu, Maheep Chaudhary, Haohan Wang
• Abstract要約: 機械学習の信頼性はこの分野において重要なトピックとして浮上している。 本調査は,一貫した概念集合を用いた信頼性の高い機械学習開発の背景を示す。 我々は,これらの手法を,堅牢性,敵対的堅牢性,解釈可能性,公正性にまたがる数学的語彙を持つ統一言語を提供する。
• 参考スコア（独自算出の注目度）: 11.63431725146897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The trustworthiness of machine learning has emerged as a critical topic in the field, encompassing various applications and research areas such as robustness, security, interpretability, and fairness. The last decade saw the development of numerous methods addressing these challenges. In this survey, we systematically review these advancements from a data-centric perspective, highlighting the shortcomings of traditional empirical risk minimization (ERM) training in handling challenges posed by the data. Interestingly, we observe a convergence of these methods, despite being developed independently across trustworthy machine learning subfields. Pearl's hierarchy of causality offers a unifying framework for these techniques. Accordingly, this survey presents the background of trustworthy machine learning development using a unified set of concepts, connects this language to Pearl's causal hierarchy, and finally discusses methods explicitly inspired by causality literature. We provide a unified language with mathematical vocabulary to link these methods across robustness, adversarial robustness, interpretability, and fairness, fostering a more cohesive understanding of the field. Further, we explore the trustworthiness of large pretrained models. After summarizing dominant techniques like fine-tuning, parameter-efficient fine-tuning, prompting, and reinforcement learning with human feedback, we draw connections between them and the standard ERM. This connection allows us to build upon the principled understanding of trustworthy methods, extending it to these new techniques in large pretrained models, paving the way for future methods. Existing methods under this perspective are also reviewed. Lastly, we offer a brief summary of the applications of these methods and discuss potential future aspects related to our survey. For more information, please visit http://trustai.one.
• Abstract（参考訳）: 機械学習の信頼性はこの分野で重要なトピックとして現れ、堅牢性、セキュリティ、解釈性、公平性など、さまざまなアプリケーションや研究領域をカバーしている。 この10年間、これらの課題に対処する多くの手法が開発されてきた。 本研究では,従来の経験的リスク最小化(erm)トレーニングの欠点に着目し,データ中心の観点からこれらの進歩を体系的に検証する。 興味深いことに、信頼できる機械学習サブフィールドで独立して開発されたにもかかわらず、これらの手法の収束を観察する。 パールの因果関係の階層はこれらの技法の統一的な枠組みを提供する。 そこで本調査では,統一された概念セットを用いた信頼性の高い機械学習開発の背景を考察し,この言語をパールの因果階層に接続し,因果文学に着想を得た手法を論じる。 我々は,これらの手法を,強靭性,敵対的堅牢性,解釈可能性,公正性に結び付ける数学的語彙を持つ統一言語を提供する。 さらに,大規模事前学習モデルの信頼性について検討する。 微調整、パラメータ効率のよい微調整、プロンプト、強化学習といった支配的なテクニックを人間のフィードバックで要約した後、我々はそれらと標準ERMとの間の接続を描画する。 この接続によって、信頼に値するメソッドを原則的に理解し、それを大きな事前学習されたモデルでこれらの新しいテクニックに拡張し、将来のメソッドへの道を開くことができます。 この観点から既存の方法についてもレビューする。 最後に,これらの手法の応用について概説し,今後の展望について考察する。 詳細については http://trustai.one.com をご覧ください。

関連論文リスト

• Deep Learning-Based Object Pose Estimation: A Comprehensive Survey [73.74933379151419]
  ディープラーニングに基づくオブジェクトポーズ推定の最近の進歩について論じる。 また、複数の入力データモダリティ、出力ポーズの自由度、オブジェクト特性、下流タスクについても調査した。
  論文  参考訳（メタデータ） (2024-05-13T14:44:22Z)
• A review on data-driven constitutive laws for solids [0.0]
  この記事では、法律を発見し、エンコードし、代理し、エミュレートするための最先端のデータ駆動技術を強調します。 我々の目標は、過去数十年で開発された幅広い方法論に組織化された分類を提供することである。
  論文  参考訳（メタデータ） (2024-05-06T17:33:58Z)
• Machine Learning Robustness: A Primer [12.426425119438846]
  この議論はロバストネスの詳細な定義から始まり、MLモデルが様々な環境条件と予期せぬ環境条件で安定した性能を維持する能力であることを示している。 この章では、データバイアスやモデル複雑性、未特定のMLパイプラインの落とし穴など、堅牢性を阻害する要因について詳しく説明している。 議論は、デバイアスや拡張といったデータ中心のアプローチから始まる、堅牢性を促進するための改善戦略を探求する。
  論文  参考訳（メタデータ） (2024-04-01T03:49:42Z)
• Heterogeneous Contrastive Learning for Foundation Models and Beyond [73.74745053250619]
  ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
  論文  参考訳（メタデータ） (2024-03-30T02:55:49Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• Understanding Data Augmentation from a Robustness Perspective [10.063624819905508]
  データ拡張は、モデルの堅牢性を増幅するための重要なテクニックとして際立っている。 この写本は、この現象を理解するための理論的および実証的なアプローチを採っている。 我々の経験的評価は、エンブレマ的なデータ拡張戦略の複雑なメカニズムを解明するものである。 これらの洞察は、視覚認識タスクにおけるモデルの安全性と堅牢性を再評価する新しいレンズを提供する。
  論文  参考訳（メタデータ） (2023-09-07T10:54:56Z)
• Rethinking Bayesian Learning for Data Analysis: The Art of Prior and Inference in Sparsity-Aware Modeling [20.296566563098057]
  信号処理と機械学習のためのスパースモデリングは、20年以上にわたって科学研究の焦点となっている。 本稿では,3つの一般的なデータモデリングツールにスパーシティ・プロモーティング・プリエントを組み込むことの最近の進歩を概観する。
  論文  参考訳（メタデータ） (2022-05-28T00:43:52Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• Quantifying Epistemic Uncertainty in Deep Learning [15.494774321257939]
  不確かさの定量化は、機械学習の信頼性と堅牢性の中核にある。 深層学習における不確実性,特にテクテプステミック成分を識別する理論的枠組みを提供する。 本稿では,これらの不確かさを推定する2つの手法を提案し,その1つは影響関数に基づくものであり,もう1つは変数に関するものである。
  論文  参考訳（メタデータ） (2021-10-23T03:21:10Z)
• Self-Supervised Representation Learning: Introduction, Advances and Challenges [125.38214493654534]
  自己教師付き表現学習手法は、大きな注釈付きデータセットを必要とせずに強力な機能学習を提供することを目的としている。 本稿では、この活気ある領域について、鍵となる概念、アプローチの4つの主要なファミリーと関連する技術の状態、そして、データの多様性に自己監督手法を適用する方法について紹介する。
  論文  参考訳（メタデータ） (2021-10-18T13:51:22Z)
• Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
  本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。 本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。 我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
  論文  参考訳（メタデータ） (2020-07-07T17:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。