論文の概要: Inter-Annotator Agreement in the Wild: Uncovering Its Emerging Roles and
Considerations in Real-World Scenarios
- arxiv url: http://arxiv.org/abs/2306.14373v1
- Date: Mon, 26 Jun 2023 01:28:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 15:13:53.306558
- Title: Inter-Annotator Agreement in the Wild: Uncovering Its Emerging Roles and
Considerations in Real-World Scenarios
- Title(参考訳): 野生におけるアノテーション間の合意--実世界のシナリオにおける新たな役割と考察
- Authors: NamHyeok Kim, Chanjun Park
- Abstract要約: IAA(Inter-Annotator Agreement)は、自然言語処理タスクにおけるラベル一貫性の尺度として一般的に用いられる。
本稿では,IAAを一貫性の尺度であると同時に,実用的な応用に有効に活用できる汎用ツールであると考えている。
- 参考スコア(独自算出の注目度): 2.28438857884398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inter-Annotator Agreement (IAA) is commonly used as a measure of label
consistency in natural language processing tasks. However, in real-world
scenarios, IAA has various roles and implications beyond its traditional usage.
In this paper, we not only consider IAA as a measure of consistency but also as
a versatile tool that can be effectively utilized in practical applications.
Moreover, we discuss various considerations and potential concerns when
applying IAA and suggest strategies for effectively navigating these
challenges.
- Abstract(参考訳): IAA(Inter-Annotator Agreement)は、自然言語処理タスクにおけるラベル一貫性の尺度として一般的に用いられる。
しかし、実世界のシナリオでは、IAAは伝統的な用途を超えて様々な役割と意味を持っている。
本稿では、IAAを一貫性の尺度としてだけでなく、実用的な応用に有効に活用できる汎用ツールとして捉える。
さらに、IAAを適用する際の様々な考察や潜在的懸念について考察し、これらの課題を効果的にナビゲートするための戦略を提案する。
関連論文リスト
- Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳(メタデータ) (2024-04-11T04:22:15Z) - Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。
これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
論文 参考訳(メタデータ) (2024-04-10T16:44:11Z) - Layer-Wise Analysis of Self-Supervised Acoustic Word Embeddings: A Study
on Speech Emotion Recognition [54.952250732643115]
連続表現から派生した長さの固定長特徴である音響単語埋め込み(AWE)について検討し,その利点について検討した。
AWEは以前、音響的識別可能性の把握に有用であることを示した。
以上の結果から,AWEが伝達する音響的文脈が明らかになり,高い競争力を持つ音声認識精度が示された。
論文 参考訳(メタデータ) (2024-02-04T21:24:54Z) - SADA: Semantic adversarial unsupervised domain adaptation for Temporal Action Localization [32.35611853688068]
本稿では,Sparse TAL における Unsupervised Domain Adaptation のアプローチを初めて紹介する。
我々は、現実的なスパース動作検出ベンチマークで動作するドメイン適応モデルの開発を開拓した。
EpicKitchens100とCharadesEgoをベースとした,複数のドメインシフトを評価する新しいベンチマークセットを提案する。
論文 参考訳(メタデータ) (2023-12-20T19:08:49Z) - Responsible AI Considerations in Text Summarization Research: A Review
of Current Practices [89.85174013619883]
私たちは、責任あるAIコミュニティがほとんど見落としている共通のNLPタスクである、テキスト要約に重点を置いています。
我々は,2020-2022年に出版されたACLアンソロジーから333の要約論文の多段階的質的分析を行った。
私たちは、どの、どの、どの責任あるAI問題がカバーされているか、どの関係するステークホルダーが考慮されているか、そして、述べられた研究目標と実現された研究目標のミスマッチに焦点を合わせます。
論文 参考訳(メタデータ) (2023-11-18T15:35:36Z) - Measuring Annotator Agreement Generally across Complex Structured,
Multi-object, and Free-text Annotation Tasks [79.24863171717972]
品質保証のための重要な指標は、IAA(Inter-annotator Agreement)である。
単純な分類的および順序的なラベリングタスクには対策があるが、より複雑なラベリングタスクを考える作業はほとんどない。
クリッペンドルフのαは、より単純なラベリングタスクでよく用いられるが、より広い適用性を持つ距離ベースの定式化を持つ。
論文 参考訳(メタデータ) (2022-12-15T20:12:48Z) - Learning Action-Effect Dynamics for Hypothetical Vision-Language
Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。
本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文 参考訳(メタデータ) (2022-12-07T05:41:58Z) - AACC: Asymmetric Actor-Critic in Contextual Reinforcement Learning [13.167123175701802]
本稿では,強化学習(RL)における環境動態の変化に適応するタスクを定式化する。
次に、このような一般化タスクに対処するエンドツーエンドのアクター批判手法として、コンテキストRL(AACC)における非対称アクター批判を提案する。
シミュレーション環境において,既存のベースラインに対するAACCの性能改善を実験的に示す。
論文 参考訳(メタデータ) (2022-08-03T22:52:26Z) - Deep Context- and Relation-Aware Learning for Aspect-based Sentiment
Analysis [3.7175198778996483]
本研究では,深い文脈情報を持つサブタスク間での対話的関係を実現するディープ・コンテクスチュアライズド・リレーア・アウェア・ネットワーク(DCRAN)を提案する。
DCRANは3つの広く使用されているベンチマークにおいて、従来の最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2021-06-07T17:16:15Z) - Explainable Machine Learning for Public Policy: Use Cases, Gaps, and
Research Directions [6.68777133358979]
公共政策問題における説明可能性利用事例の分類法を開発する。
我々は、説明のエンドユーザーを定義し、説明可能性の具体的目標を満たさなければならない。
既存の作業をこれらのユースケースにマッピングし、ギャップを特定し、それらのギャップを埋めるための研究の方向性を提案します。
論文 参考訳(メタデータ) (2020-10-27T15:37:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。