論文の概要: On the Use of Unrealistic Predictions in Hundreds of Papers Evaluating Graph Representations

• arxiv url: http://arxiv.org/abs/2112.04274v1
• Date: Wed, 8 Dec 2021 13:15:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 19:36:00.189683
• Title: On the Use of Unrealistic Predictions in Hundreds of Papers Evaluating Graph Representations
• Title（参考訳）: グラフ表現を評価する何百もの論文における非現実的予測の利用について
• Authors: Li-Chung Lin, Cheng-Hung Liu, Chih-Ming Chen, Kai-Chin Hsu, I-Feng Wu, Ming-Feng Tsai and Chih-Jen Lin
• Abstract要約: 多くの研究は、各テストインスタンスのラベルの数が知られていると予測している。 非現実的な情報では、パフォーマンスは過大評価される可能性が高い。 今後の研究で活用するために,実際に未知の情報を用いることなく,シンプルで効果的な設定を提案する。
• 参考スコア（独自算出の注目度）: 9.243551052802944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prediction using the ground truth sounds like an oxymoron in machine learning. However, such an unrealistic setting was used in hundreds, if not thousands of papers in the area of finding graph representations. To evaluate the multi-label problem of node classification by using the obtained representations, many works assume in the prediction stage that the number of labels of each test instance is known. In practice such ground truth information is rarely available, but we point out that such an inappropriate setting is now ubiquitous in this research area. We detailedly investigate why the situation occurs. Our analysis indicates that with unrealistic information, the performance is likely over-estimated. To see why suitable predictions were not used, we identify difficulties in applying some multi-label techniques. For the use in future studies, we propose simple and effective settings without using practically unknown information. Finally, we take this chance to conduct a fair and serious comparison of major graph-representation learning methods on multi-label node classification.
• Abstract（参考訳）: 基底的真理を用いた予測は、機械学習のオキシモロンのように聞こえる。 しかし、そのような非現実的な設定は、グラフ表現を見つける領域において、何千もの論文が使われた。 得られた表現を用いてノード分類のマルチラベル問題を評価するため、各テストインスタンスのラベル数が分かっているという予測段階で多くの作品が想定される。 実際には、そのような真理情報はほとんど得られないが、このような不適切な設定は、現在この研究領域で広く使われていることを指摘する。 我々はその事情を詳しく調査する。 分析の結果,非現実的な情報では性能が過大評価される可能性が示唆された。 適切な予測が使われていない理由を確かめるため,複数ラベル技術の適用の難しさを明らかにする。 今後の研究において,実際に未知の情報を用いることなく,シンプルで効果的な設定を提案する。 最後に,マルチラベルノード分類における主要なグラフ表現学習手法を公平かつ真剣に比較する機会を得た。

関連論文リスト

• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Towards Semi-supervised Universal Graph Classification [6.339931887475018]
  半教師付き普遍グラフ分類の問題について検討する。 ラベルの不足と潜在的なクラスシフトのため、この問題は難しい。 サブグラフの観点からラベル付けされていないデータを最大限に活用する新しいグラフニューラルネットワークフレームワークUGNNを提案する。
  論文  参考訳（メタデータ） (2023-05-31T06:58:34Z)
• Data-Centric Learning from Unlabeled Graphs with Diffusion Model [21.417410006246147]
  本稿では,ラベルのないグラフの集合を有用なデータポイントの特定の集合として抽出する。 拡散モデルを用いて、ラベルのないグラフを完全に活用し、2つの新しい目的を設計し、モデルの認知過程を導出する。 実験により、我々のデータ中心のアプローチは15のタスクで既存の15のメソッドよりもはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-17T16:39:21Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Unbiased Graph Embedding with Biased Graph Observations [52.82841737832561]
  基礎となるバイアスのないグラフから学習することで、バイアスのない表現を得るための、原則化された新しい方法を提案する。 この新たな視点に基づいて、そのような基礎となるグラフを明らかにするための2つの補完的手法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T18:44:37Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• Handling Missing Data with Graph Representation Learning [62.59831675688714]
  特徴量計算とラベル予測のためのグラフベースのフレームワークであるGRAPEを提案する。 GRAPEでは,特徴計算をエッジレベル予測タスク,ラベル予測をノードレベル予測タスクとして定式化する。 9つのベンチマークデータセットによる実験結果から、GRAPEは計算タスクの平均絶対誤差を20%低く、ラベル予測タスクを10%低くすることがわかった。
  論文  参考訳（メタデータ） (2020-10-30T17:59:13Z)
• Identifying Wrongly Predicted Samples: A Method for Active Learning [6.976600214375139]
  本稿では,不確実性を超えた単純なサンプル選択基準を提案する。 予測されたサンプルを正しく識別するために、最先端の結果とより良いレートを示す。
  論文  参考訳（メタデータ） (2020-10-14T09:00:42Z)
• One-bit Supervision for Image Classification [121.87598671087494]
  1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。 負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-09-14T03:06:23Z)
• On uncertainty estimation in active learning for image segmentation [7.05949591248206]
  不確実性推定は、機械学習モデルの信頼性を多くのアプリケーションで解釈するために重要である。 本稿では,医用画像セグメンテーションのためのアクティブラーニングフレームワークにおける不確実性校正について検討する。 完全な画像の代わりにアノテートする領域を選択することで、よりよく校正されたモデルが得られることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T13:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。