Fugu-MT 論文翻訳(概要): ARAIDA: Analogical Reasoning-Augmented Interactive Data Annotation

論文の概要: ARAIDA: Analogical Reasoning-Augmented Interactive Data Annotation

arxiv url: http://arxiv.org/abs/2405.11912v2
Date: Sat, 1 Jun 2024 07:30:51 GMT
ステータス: 処理完了
システム内更新日: 2024-06-04 14:29:15.588398
Title: ARAIDA: Analogical Reasoning-Augmented Interactive Data Annotation
Title（参考訳）: ARAIDA:Analogical Reasoning-Augmented Interactive Data Annotation
Authors: Chen Huang, Yiping Jin, Ilija Ilievski, Wenqiang Lei, Jiancheng Lv,
Abstract要約: 自動アノテーションの精度を向上させるアナログ推論に基づくアプローチであるAraidaを提案する。 Araidaには、アノテーションモデルとk-nearest neighbors(KNN)モデルを動的にコーディネートするエラー認識統合戦略が含まれている。平均すると、バニラのインタラクティブなデータアノテーション手法に比べて、人間の修正作業が11.02%削減される。
参考スコア（独自算出の注目度）: 25.32692722057856
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Human annotation is a time-consuming task that requires a significant amount of effort. To address this issue, interactive data annotation utilizes an annotation model to provide suggestions for humans to approve or correct. However, annotation models trained with limited labeled data are prone to generating incorrect suggestions, leading to extra human correction effort. To tackle this challenge, we propose Araida, an analogical reasoning-based approach that enhances automatic annotation accuracy in the interactive data annotation setting and reduces the need for human corrections. Araida involves an error-aware integration strategy that dynamically coordinates an annotation model and a k-nearest neighbors (KNN) model, giving more importance to KNN's predictions when predictions from the annotation model are deemed inaccurate. Empirical studies demonstrate that Araida is adaptable to different annotation tasks and models. On average, it reduces human correction labor by 11.02% compared to vanilla interactive data annotation methods.
Abstract（参考訳）: ヒューマンアノテーションは、かなりの労力を要する時間を要するタスクです。この問題に対処するために、インタラクティブなデータアノテーションはアノテーションモデルを使用して、人間が承認または修正するように提案する。しかし、ラベル付き限られたデータで訓練されたアノテーションモデルは、誤った提案を発生させる傾向があるため、追加の人間の修正努力がもたらされる。この課題に対処するために,対話型データアノテーション設定における自動アノテーション精度を高め,人間の修正の必要性を低減する類似推論に基づくアプローチであるAraidaを提案する。 Araidaは、アノテーションモデルとk-nearest neighbors(KNN)モデルを動的にコーディネートするエラー認識統合戦略で、アノテーションモデルからの予測が不正確であると判断された場合、KNNの予測をより重要視する。経験的研究は、Araidaが異なるアノテーションタスクやモデルに適応可能であることを示した。平均すると、バニラのインタラクティブなデータアノテーション手法に比べて、人間の修正作業が11.02%削減される。

関連論文リスト

Selective Annotation via Data Allocation: These Data Should Be Triaged to Experts for Annotation Rather Than the Model [42.70608373297776]
我々は、SANTと呼ばれる選択的なアノテーションフレームワークを提案する。提案した誤り認識トリアージと二重み付け機構により、トリアージ・ツー・ヒューマンデータとトリアージ・ツー・モデルデータの両方を効果的に活用する。実験の結果、SANTは他のベースラインを一貫して上回り、専門家とモデルワーカーの両方にデータの適切な割り当てを通じて高品質なアノテーションをもたらすことが示された。
論文参考訳（メタデータ） (2024-05-20T14:52:05Z)
Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [95.5442607785241]
我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
論文参考訳（メタデータ） (2023-11-16T06:27:35Z)
ActiveAED: A Human in the Loop Improves Annotation Error Detection [22.61786427296688]
広く使われているベンチマークデータセットでさえ、かなりの数の誤ったアノテーションを含んでいる。予測ループにおける誤り訂正を人間に繰り返し問い合わせることで、より正確にエラーを検出できるAED手法であるActiveAEDを提案する。我々は,5つのタスクにまたがる8つのデータセットに対してActiveAEDを評価し,その中の7つのタスクに対して,平均精度で最大6%のアップを達成できることを示す。
論文参考訳（メタデータ） (2023-05-31T17:18:47Z)
D-CALM: A Dynamic Clustering-based Active Learning Approach for Mitigating Bias [13.008323851750442]
本稿では,クラスタリングとアノテーションを動的に調整する適応型クラスタリングに基づく能動的学習アルゴリズムD-CALMを提案する。感情,ヘイトスピーチ,ダイアログ行為,書籍型検出など,多種多様なテキスト分類タスクのための8つのデータセットの実験により,提案アルゴリズムがベースラインALアプローチを著しく上回ることを示した。
論文参考訳（メタデータ） (2023-05-26T15:17:43Z)
Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文参考訳（メタデータ） (2022-11-08T19:00:00Z)
cRedAnno+: Annotation Exploitation in Self-Explanatory Lung Nodule Diagnosis [8.582182186207671]
cRedAnnoは、アノテーションの要求を大幅に減らして、競争性能を達成する。半教師付き能動学習によるアノテーション活用機構を提案する。提案手法は10倍のアノテーションで同等あるいはそれ以上高い悪性度予測精度を実現する。
論文参考訳（メタデータ） (2022-10-28T12:44:31Z)
Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
論文参考訳（メタデータ） (2022-09-22T04:32:51Z)
Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
論文参考訳（メタデータ） (2022-06-05T22:31:45Z)
Pre-trained Language Models as Re-Annotators [3.193067591317475]
事前学習言語モデルから意味センシティブなアノテーション表現を取得する方法について検討する。アノテーション修正のためのクロスバリデーションに基づく事前学習言語モデルを微調整する。関係抽出における再アノテーションについて検討し、手動で改訂したデータセットRe-DocREDを作成する。
論文参考訳（メタデータ） (2022-05-11T09:28:23Z)
Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文参考訳（メタデータ） (2020-10-18T16:55:25Z)
DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
論文参考訳（メタデータ） (2020-10-02T13:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。