論文の概要: Towards transparency in NLP shared tasks

• arxiv url: http://arxiv.org/abs/2105.05020v1
• Date: Tue, 11 May 2021 13:29:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 18:35:09.106328
• Title: Towards transparency in NLP shared tasks
• Title（参考訳）: NLP共有タスクの透明性を目指して
• Authors: Carla Parra Escart\'in and Teresa Lynn and Joss Moorkens and Jane Dunne
• Abstract要約: 本稿では,自然言語処理(NLP)コミュニティを対象とした調査について報告する。 この調査は、参加と組織の両方に関して、共有課題に関する研究コミュニティの意見を捉えることを目的としている。 我々は、将来の参加者や主催者を支援する共有タスク組織チェックリストを提案する。
• 参考スコア（独自算出の注目度）: 0.03823356975862005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article reports on a survey carried out across the Natural Language Processing (NLP) community. The survey aimed to capture the opinions of the research community on issues surrounding shared tasks, with respect to both participation and organisation. Amongst the 175 responses received, both positive and negative observations were made. We carried out and report on an extensive analysis of these responses, which leads us to propose a Shared Task Organisation Checklist that could support future participants and organisers. The proposed Checklist is flexible enough to accommodate the wide diversity of shared tasks in our field and its goal is not to be prescriptive, but rather to serve as a tool that encourages shared task organisers to foreground ethical behaviour, beginning with the common issues that the 175 respondents deemed important. Its usage would not only serve as an instrument to reflect on important aspects of shared tasks, but would also promote increased transparency around them.
• Abstract（参考訳）: 本稿では,自然言語処理(NLP)コミュニティを対象とした調査について報告する。 この調査は、参加と組織の両方に関して、共有課題に関する研究コミュニティの意見を捉えることを目的としている。 175の回答のうち、ポジティブとネガティブの両方が観察された。 そこで我々は,これらの回答を広範囲に分析し,今後の参加者や組織を支援するための共有タスク組織チェックリストを提案する。 提案されたチェックリストは、我々の分野における共有タスクの幅広い多様性に対応するのに十分な柔軟性があり、その目標は規範的ではなく、共有タスクオーガナイザが倫理的行動のフォアグラウンドを奨励するツールとして機能することである。 その使い方は、共有タスクの重要な側面を反映する手段としてだけでなく、それらの周りの透明性を高めるためにも役立つだろう。

関連論文リスト

• A Survey on Complex Tasks for Goal-Directed Interactive Agents [60.53915548970061]
  この調査は、目標指向の対話エージェントを評価するための、関連するタスクと環境をコンパイルする。 関連リソースの最新のコンパイルは、プロジェクトのWebサイトにある。
  論文  参考訳（メタデータ） (2024-09-27T08:17:53Z)
• Leveraging Interesting Facts to Enhance User Engagement with Conversational Interfaces [28.494606738174436]
  ユーザに対して,関連性のある興味深い事実を自動的に識別するために,ハイパフォーマンスな分類器を訓練する。 私たちはこれを使って、調理領域のためのタスク固有の興味深い事実の注釈付きデータセットを作成します。 我々は対話ポリシーを設計・検証し、関連性のある興味深い事実を会話に組み込む。
  論文  参考訳（メタデータ） (2024-04-09T23:51:29Z)
• Responsible AI Considerations in Text Summarization Research: A Review of Current Practices [89.85174013619883]
  私たちは、責任あるAIコミュニティがほとんど見落としている共通のNLPタスクである、テキスト要約に重点を置いています。 我々は,2020-2022年に出版されたACLアンソロジーから333の要約論文の多段階的質的分析を行った。 私たちは、どの、どの、どの責任あるAI問題がカバーされているか、どの関係するステークホルダーが考慮されているか、そして、述べられた研究目標と実現された研究目標のミスマッチに焦点を合わせます。
  論文  参考訳（メタデータ） (2023-11-18T15:35:36Z)
• The Shifted and The Overlooked: A Task-oriented Investigation of User-GPT Interactions [114.67699010359637]
  実際のユーザクエリの大規模なコレクションをGPTに解析する。 ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
  論文  参考訳（メタデータ） (2023-10-19T02:12:17Z)
• Surveying (Dis)Parities and Concerns of Compute Hungry NLP Research [75.84463664853125]
  我々は,3つのトピック,すなわち環境影響,株式,およびピアレビューへの影響に関する懸念を定量化するための最初の試みを提供する。 我々は、高齢者、アカデミック、産業に関して、異なるグループと異なるグループ内の既存の(異なる)格差を捉えます。 私たちは、発見された格差を軽減するためのレコメンデーションを考案しました。
  論文  参考訳（メタデータ） (2023-06-29T12:44:53Z)
• SemEval-2023 Task 11: Learning With Disagreements (LeWiDi) [75.85548747729466]
  共有タスクのLeWiDiシリーズの第2版について報告する。 この第2版は幅広い参加者を集め、13のタスクの共用論文が提出された。
  論文  参考訳（メタデータ） (2023-04-28T12:20:35Z)
• Overview and Insights from the SciVer Shared Task on Scientific Claim Verification [5.78530472626281]
  NAACL 2021 の第2回 Scholarly Document Processing (SDP) ワークショップで提示された SciVer 共有タスクの概要を紹介する。 11チームが合計14回のタスクリーダボードへの提出を行い、主要なタスク評価基準で+23 F1以上の改善を実現した。
  論文  参考訳（メタデータ） (2021-07-17T05:47:57Z)
• Mobile App Tasks with Iterative Feedback (MoTIF): Addressing Task Feasibility in Interactive Visual Environments [54.405920619915655]
  これまで最大数のインタラクティブ環境向けに自然言語コマンドを用いたデータセットであるMoTIF(Iterative Feedback)を用いたモバイルアプリタスクを紹介します。 MoTIFは、満足できないインタラクティブ環境のための自然言語リクエストを最初に含んでいる。 初期実現可能性分類実験を行い、より豊かな視覚言語表現の必要性を検証し、f1スコア37.3まで到達した。
  論文  参考訳（メタデータ） (2021-04-17T14:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。