論文の概要: On the Effects of Data Distortion on Model Analysis and Training
- arxiv url: http://arxiv.org/abs/2110.13968v1
- Date: Tue, 26 Oct 2021 19:10:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 14:21:57.773820
- Title: On the Effects of Data Distortion on Model Analysis and Training
- Title(参考訳): データ歪みがモデル解析および訓練に及ぼす影響について
- Authors: Antonia Marcu and Adam Pr\"ugel-Bennett
- Abstract要約: データ修正は人工情報を導入することができる。
結果として得られる成果物は、モデルを分析する際に無視できる一方で、トレーニングに有害であると仮定されることがしばしばある。
これらの仮定を調査し、いくつかのケースでは、それらが根拠がなく、誤った結果をもたらすと結論付ける。
- 参考スコア(独自算出の注目度): 0.7832189413179361
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Data modification can introduce artificial information. It is often assumed
that the resulting artefacts are detrimental to training, whilst being
negligible when analysing models. We investigate these assumptions and conclude
that in some cases they are unfounded and lead to incorrect results.
Specifically, we show current shape bias identification methods and occlusion
robustness measures are biased and propose a fairer alternative for the latter.
Subsequently, through a series of experiments we seek to correct and strengthen
the community's perception of how distorting data affects learning. Based on
our empirical results we argue that the impact of the artefacts must be
understood and exploited rather than eliminated.
- Abstract(参考訳): データ修正は人工情報を導入することができる。
結果として得られる成果物は、モデルを分析する際に無視できる一方で、トレーニングに有害であると考えられることが多い。
これらの仮定を調査し、いくつかのケースでは、それらが根拠がなく、誤った結果をもたらすと結論付ける。
具体的には,現在の形状バイアス同定法と咬合ロバスト性尺度の偏りを示し,後者に対する公平な代替案を提案する。
その後,一連の実験を通じて,データのゆがみが学習に与える影響に対するコミュニティの認識を正し,強化することを目指す。
経験的な結果に基づいて、アーティファクトの影響は排除されるよりも理解され、悪用されなければならないと主張する。
関連論文リスト
- Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。
提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。
DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文 参考訳(メタデータ) (2024-10-02T07:14:26Z) - The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。
具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。
トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-02-14T03:43:05Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳(メタデータ) (2024-01-17T07:58:18Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳(メタデータ) (2023-06-03T20:12:27Z) - On Counterfactual Data Augmentation Under Confounding [30.76982059341284]
トレーニングデータのバイアスを緩和する手段として、対実データ拡張が出現している。
これらのバイアスは、データ生成プロセスにおいて観測され、観測されていない様々な共役変数によって生じる。
提案手法は,既存の最先端手法が優れた結果を得るのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2023-05-29T16:20:23Z) - On Pitfalls of Measuring Occlusion Robustness through Data Distortion [0.5874142059884521]
提案するアーティファクトを考慮せずに画像を歪みさせることは,咬合堅牢性を確立する際のバイアスのある結果をもたらすことを示す。
モデルが現実のシナリオで期待通りに振る舞うようにするためには、評価に付加された成果物が与える影響を除外する必要があります。
我々は,オクローダが未知のアプリケーションに対して,より公平な代替手段として,新しいアプローチiOcclusionを提案する。
論文 参考訳(メタデータ) (2022-11-24T17:51:48Z) - Striving for data-model efficiency: Identifying data externalities on
group performance [75.17591306911015]
信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。
我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。
以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
論文 参考訳(メタデータ) (2022-11-11T16:48:27Z) - The Invariant Ground Truth of Affect [2.570570340104555]
感情の基底的真理は、感情の主観的な性質とそのラベルに固有のバイアスを意図せずに含んでいる影響ラベルに起因している。
本稿では、因果関係論の側面を感情計算に伝達することにより、影響の信頼性の高い基礎的真理を得る方法について再検討する。
我々は、情緒的コーパスにおけるアウトリーチの検出と、参加者やタスク間で堅牢な影響モデルの構築に、因果関係にインスパイアされた手法を採用している。
論文 参考訳(メタデータ) (2022-10-14T08:26:01Z) - Practical Insights of Repairing Model Problems on Image Classification [3.2932371462787513]
ディープラーニングモデルの追加トレーニングは、結果にネガティブな影響をもたらし、初期正のサンプルを負のサンプルに変える(劣化)。
本稿では, 劣化低減手法の比較から得られた影響について述べる。
その結果、実践者は、AIシステムのデータセットの可用性とライフサイクルを継続的に考慮し、より良い方法に気を配るべきであることが示唆された。
論文 参考訳(メタデータ) (2022-05-14T19:28:55Z) - A Sober Look at the Unsupervised Learning of Disentangled
Representations and their Evaluation [63.042651834453544]
モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。
異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。
以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
論文 参考訳(メタデータ) (2020-10-27T10:17:15Z) - Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。
敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
論文 参考訳(メタデータ) (2020-09-21T19:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。