論文の概要: On Sensitivity of Learning with Limited Labelled Data to the Effects of Randomness: Impact of Interactions and Systematic Choices

• arxiv url: http://arxiv.org/abs/2402.12817v2
• Date: Thu, 03 Oct 2024 14:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 17:53:28.870989
• Title: On Sensitivity of Learning with Limited Labelled Data to the Effects of Randomness: Impact of Interactions and Systematic Choices
• Title（参考訳）: ランダム性に対する限定ラベリングデータによる学習の感性:相互作用と体系的選択の影響
• Authors: Branislav Pecher, Ivan Srba, Maria Bielikova,
• Abstract要約: そこで本研究では,相互作用を考慮したランダム性要因の効果について検討する。 本手法は,個々のランダム性係数の真の効果を測定するために,他の要因の影響を緩和し,複数の実行において性能がどのように変化するかを観察する。 1) 既存の作業におけるランダム性要因間の相互作用を無視することは, ランダム性要因の効果の誤った帰属に起因する不整合な発見であり, たとえサンプル順序に対しても, コンテキスト内学習の一貫性を否定するなど, ランダム性要因の効果の誤った帰属によるものである。
• 参考スコア（独自算出の注目度）: 5.009377915313077
• License:
• Abstract: While learning with limited labelled data can improve performance when the labels are lacking, it is also sensitive to the effects of uncontrolled randomness introduced by so-called randomness factors (e.g., varying order of data). We propose a method to systematically investigate the effects of randomness factors while taking the interactions between them into consideration. To measure the true effects of an individual randomness factor, our method mitigates the effects of other factors and observes how the performance varies across multiple runs. Applying our method to multiple randomness factors across in-context learning and fine-tuning approaches on 7 representative text classification tasks and meta-learning on 3 tasks, we show that: 1) disregarding interactions between randomness factors in existing works caused inconsistent findings due to incorrect attribution of the effects of randomness factors, such as disproving the consistent sensitivity of in-context learning to sample order even with random sample selection; and 2) besides mutual interactions, the effects of randomness factors, especially sample order, are also dependent on more systematic choices unexplored in existing works, such as number of classes, samples per class or choice of prompt format.
• Abstract（参考訳）: ラベル付きデータによる学習はラベルの不足時に性能を向上させることができるが、いわゆるランダム性要因(例えば、データのさまざまな順序)によってもたらされる制御されていないランダム性の影響にも敏感である。 本研究では,それらの相互作用を考慮したランダム性要因の効果を系統的に検討する手法を提案する。 本手法は,個々のランダム性係数の真の効果を測定するために,他の要因の影響を緩和し,複数の実行において性能がどのように変化するかを観察する。 提案手法をテキスト内学習における複数のランダム性要因に適用し、7つの代表的なテキスト分類タスクと3つのタスクのメタ学習における微調整アプローチにより、以下の結果を得た。 1 既存作品におけるランダム性要因間の相互作用を無視して、ランダム性要因の効果の誤った帰属による不整合な発見をし、例えば、ランダムなサンプル選択であっても、サンプル順序に対するインコンテキスト学習の一貫性を否定すること。 2) 相互相互作用の他に, ランダム性要因, 特にサンプル順序の影響は, クラス数, クラス毎のサンプル数, プロンプト形式の選択など, 既存の作業で探索されていないより体系的な選択にも依存する。

関連論文リスト

• A Survey on Stability of Learning with Limited Labelled Data and its Sensitivity to the Effects of Randomness [5.009377915313077]
  本調査は,限定ラベル付きデータによる学習の安定性に対するランダム性の影響を論じる415の論文の概要を概説する。 我々は7つの課題を特定し議論し、さらなる研究を促進するための可能な方向性とともに課題を開放する。 この調査の最終的な目標は、この成長する研究領域の重要性を強調することである。
  論文  参考訳（メタデータ） (2023-12-02T09:20:10Z)
• Causal Inference from Text: Unveiling Interactions between Variables [20.677407402398405]
  既存の方法は、治療と結果の両方に影響を及ぼす共変量しか説明できない。 このバイアスは、衝突しない共変量について十分に考慮されていないことから生じる。 本研究では,変数間の相互作用を明らかにすることにより,バイアスを軽減することを目的とする。
  論文  参考訳（メタデータ） (2023-11-09T11:29:44Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Fair Effect Attribution in Parallel Online Experiments [57.13281584606437]
  A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。 オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。 異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
  論文  参考訳（メタデータ） (2022-10-15T17:15:51Z)
• Valid Inference After Causal Discovery [73.87055989355737]
  我々は、因果関係発見後の推論に有効なツールを開発する。 因果発見とその後の推論アルゴリズムの組み合わせは,高度に膨らんだ誤発見率をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-08-11T17:40:45Z)
• SurvITE: Learning Heterogeneous Treatment Effects from Time-to-Event Data [83.50281440043241]
  時系列データから不均一な処理効果を推定する問題について検討する。 本稿では,バランス表現に基づく治療特異的ハザード推定のための新しいディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T20:13:17Z)
• Impact of Spatial Frequency Based Constraints on Adversarial Robustness [0.49478969093606673]
  敵対的な例は、人間が敏感でない入力ピクセルの変更を主に利用し、モデルは解釈不能な特徴に基づいて決定するという事実から生じる。 本稿では,異なる空間周波数範囲に対応する情報を活用するために,訓練中に実施されるモデルの対向的摂動に対する頑健性について検討する。
  論文  参考訳（メタデータ） (2021-04-26T16:12:04Z)
• Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [34.40702005466919]
  1つのタスクだけを学習するよりも、2つのタスクからのデータを組み合わせる方がよいのはいつでしょう? 本稿では,2つのタスクを持つ線形回帰設定において,ランダム行列理論を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2020-10-22T14:14:20Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)
• Treatment effect estimation with disentangled latent factors [24.803992990503186]
  本研究では, 平均および条件付き平均処理効果推定において, 機器およびリスク要因との相違因子の識別の重要性を示す。 本研究では, 観測変数から潜伏因子を同時に推定し, 機器, コンバウンディング, リスク要因に対応する3つの解離集合に分解し, その解離因子を用いて治療効果を推定する変動推論手法を提案する。
  論文  参考訳（メタデータ） (2020-01-29T01:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。