論文の概要: ACTC: Active Threshold Calibration for Cold-Start Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2305.06395v1
• Date: Wed, 10 May 2023 18:08:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 17:06:29.482268
• Title: ACTC: Active Threshold Calibration for Cold-Start Knowledge Graph Completion
• Title（参考訳）: ACTC:コールドスタート知識グラフ補完のためのアクティブ閾値校正
• Authors: Anastasiia Sedova, Benjamin Roth
• Abstract要約: 自己教師付き知識グラフ補完(KGC)は、スコアリングモデル(親密性、関係性、実体)を推定することに依存する。 評価モデルの校正により予測品質を向上させることができ、通常は手動で注釈付き例を用いて予測しきい値を調整する。 新しい手法であるACTCは、限定的なアノテートセットに基づいて、良好な相互関係しきい値を求める。
• 参考スコア（独自算出の注目度）: 4.0810783261728565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised knowledge-graph completion (KGC) relies on estimating a scoring model over (entity, relation, entity)-tuples, for example, by embedding an initial knowledge graph. Prediction quality can be improved by calibrating the scoring model, typically by adjusting the prediction thresholds using manually annotated examples. In this paper, we attempt for the first time cold-start calibration for KGC, where no annotated examples exist initially for calibration, and only a limited number of tuples can be selected for annotation. Our new method ACTC finds good per-relation thresholds efficiently based on a limited set of annotated tuples. Additionally to a few annotated tuples, ACTC also leverages unlabeled tuples by estimating their correctness with Logistic Regression or Gaussian Process classifiers. We also experiment with different methods for selecting candidate tuples for annotation: density-based and random selection. Experiments with five scoring models and an oracle annotator show an improvement of 7% points when using ACTC in the challenging setting with an annotation budget of only 10 tuples, and an average improvement of 4% points over different budgets.
• Abstract（参考訳）: 自己教師付き知識グラフ補完(KGC)は、例えば初期知識グラフを埋め込むことで、スコアリングモデル(エンタリティ、関係性、実体)-タプルを推定することに依存する。 評価モデルの校正により予測品質を向上させることができ、通常は手動で注釈付き例を用いて予測しきい値を調整する。 本稿では,KGCの冷間開始校正を初めて試みるが,最初は校正のための注記例は存在せず,注釈のためのタプルは限られている。 提案手法は, 注釈付きタプルの限られたセットに基づいて, 良好な相関しきい値を求める。 いくつかの注釈付きタプルに加えて、ACTCはロジスティック回帰やガウスプロセスの分類器でその正しさを推定することで、ラベルのないタプルも活用している。 また、アノテーションの候補タプルを選択する方法として、密度ベースとランダム選択がある。 5つのスコアリングモデルと1つのオラクルアノテータを用いた実験では,10タプルの注釈予算による挑戦的な設定でACTCを使用する場合,7%のポイントが改善され,平均4%のポイントが異なる予算で改善された。

関連論文リスト

• Task-oriented Embedding Counts: Heuristic Clustering-driven Feature Fine-tuning for Whole Slide Image Classification [1.292108130501585]
  本稿では,クラスタリング駆動型機能微調整法(HC-FT)を提案する。 提案手法はCAMELYON16とBRACSの両方で評価され,それぞれ97.13%,85.85%のAUCが得られた。
  論文  参考訳（メタデータ） (2024-06-02T08:53:45Z)
• Enhancing In-context Learning via Linear Probe Calibration [42.74836047963721]
  In-context Learning (ICL)は、GPT(Generative Pre-trained Transformer)のようなモデルを利用した自然言語処理の新しいパラダイムである。 実ケースでのICLの適用は、サンプルの数とともにスケールせず、異なるプロンプトテンプレートやデモの置換に対する堅牢性に欠ける。 本稿では、ICLを用いたGPT様モデルにより、シャノンエントロピーに基づく新しい指標に基づく信頼性の低い予測結果が得られることを示す。 リニアプローブ(LinC)と呼ばれる新しい手法を提案する。これはモデルの出力確率を校正し、信頼性の高い予測と改善をもたらす。
  論文  参考訳（メタデータ） (2024-01-22T23:35:09Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Partial sequence labeling with structured Gaussian Processes [8.239028141030621]
  部分列ラベリングのための構造付きガウス過程を提案する。 予測の不確実性を符号化し、モデル選択やハイパーパラメータ学習に余分な労力を要しない。 いくつかのシーケンスラベリングタスクで評価を行い,実験結果から提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-09-20T00:56:49Z)
• Prototypical Calibration for Few-shot Learning of Language Models [84.5759596754605]
  GPTライクなモデルは、さまざまな手作りテンプレートやデモ順列にまたがる脆弱であると認識されている。 ゼロショットと少数ショットの分類において、より堅牢な決定境界を適応的に学習するためのプロトタイプキャリブレーションを提案する。 提案手法は決定境界を期待通りに校正し,テンプレート,置換,クラス不均衡に対するGPTの堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-05-20T13:50:07Z)
• Active Learning by Feature Mixing [52.16150629234465]
  本稿では,ALFA-Mixと呼ばれるバッチ能動学習手法を提案する。 予測の不整合を求めることにより,不整合な特徴を持つインスタンスを同定する。 これらの予測の不整合は、モデルが未認識のインスタンスで認識できない特徴を発見するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-14T12:20:54Z)
• Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
  ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。 移行学習にインスパイアされたアプローチを用いてこの問題に対処する。 本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
  論文  参考訳（メタデータ） (2022-01-18T18:53:10Z)
• Meta-learning via Language Model In-context Tuning [16.306733033119897]
  メタラーニングの目標は、いくつかのラベル付き例で新しいタスクに適応することを学ぶことだ。 適応と予測をリキャストする$textitin-context tuningを提案する。 LAMAとBinaryClfsの2種類のテキスト分類タスクについて,本手法のベンチマークを行った。
  論文  参考訳（メタデータ） (2021-10-15T02:29:09Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。