論文の概要: AINL-Eval 2025 Shared Task: Detection of AI-Generated Scientific Abstracts in Russian

• arxiv url: http://arxiv.org/abs/2508.09622v1
• Date: Wed, 13 Aug 2025 08:53:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.820403
• Title: AINL-Eval 2025 Shared Task: Detection of AI-Generated Scientific Abstracts in Russian
• Title（参考訳）: AINL-Eval 2025 共有タスク:ロシアにおけるAI生成科学抽象化の検出
• Authors: Tatiana Batura, Elena Bruches, Milana Shvenk, Valentin Malykh,
• Abstract要約: 大規模言語モデル(LLM)はテキスト生成に革命をもたらしており、人間とAIが生成するコンテンツを区別することがますます困難になっている。 AINL-Eval 2025 Shared Taskを導入し、特にロシアにおけるAI生成の科学的抽象化の検出に焦点を当てた。 本稿では,12の科学的領域にまたがる人間による要約や,5つの最先端のLLMからAIによって生成されたデータセットを含む,52,305のサンプルからなる,新しい大規模データセットを提案する。
• 参考スコア（独自算出の注目度）: 4.819285818808181
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of large language models (LLMs) has revolutionized text generation, making it increasingly difficult to distinguish between human- and AI-generated content. This poses a significant challenge to academic integrity, particularly in scientific publishing and multilingual contexts where detection resources are often limited. To address this critical gap, we introduce the AINL-Eval 2025 Shared Task, specifically focused on the detection of AI-generated scientific abstracts in Russian. We present a novel, large-scale dataset comprising 52,305 samples, including human-written abstracts across 12 diverse scientific domains and AI-generated counterparts from five state-of-the-art LLMs (GPT-4-Turbo, Gemma2-27B, Llama3.3-70B, Deepseek-V3, and GigaChat-Lite). A core objective of the task is to challenge participants to develop robust solutions capable of generalizing to both (i) previously unseen scientific domains and (ii) models not included in the training data. The task was organized in two phases, attracting 10 teams and 159 submissions, with top systems demonstrating strong performance in identifying AI-generated content. We also establish a continuous shared task platform to foster ongoing research and long-term progress in this important area. The dataset and platform are publicly available at https://github.com/iis-research-team/AINL-Eval-2025.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩はテキスト生成に革命をもたらし、人間とAIが生成するコンテンツを区別することがますます困難になっている。 これは学術的整合性、特に検出資源が制限される科学出版や多言語文脈において重要な課題となる。 AINL-Eval 2025 Shared Taskを導入し、特にロシアにおけるAI生成の科学的抽象化の検出に焦点を当てた。 本稿では,12の異なる科学領域にまたがる人間による要約を含む52,305のサンプルと,5つの最先端LLM(GPT-4-Turbo,Gemma2-27B,Llama3.3-70B,Deepseek-V3,GigaChat-Lite)からAIが生成したデータを含む,新しい大規模データセットを提案する。 この課題の中核的な目的は、双方に一般化可能な堅牢なソリューションを開発するために参加者に挑戦することである。 (i)以前は目に見えない科学的領域と (ii)トレーニングデータに含まれないモデル。 このタスクは2つのフェーズで編成され、10のチームと159の応募が集まった。 我々はまた、この重要な領域における継続的な研究と長期的な進歩を促進するために、継続的な共有タスクプラットフォームを構築します。 データセットとプラットフォームはhttps://github.com/iis-research-team/AINL-Eval-2025で公開されている。

関連論文リスト

• A Large-Scale Vision-Language Dataset Derived from Open Scientific Literature to Advance Biomedical Generalist AI [70.06771291117965]
  PubMed Central Open Accessサブセットから派生したオープンソースのデータセットであるBiomedicaを紹介する。 Biomedicaには600万以上の科学論文と2400万の画像テキストペアが含まれている。 私たちは、Webサーバを通じてスケーラブルなストリーミングと検索APIを提供し、AIシステムとのシームレスな統合を容易にします。
  論文  参考訳（メタデータ） (2025-03-26T05:56:46Z)
• Towards Global AI Inclusivity: A Large-Scale Multilingual Terminology Dataset (GIST) [19.91873751674613]
  GISTは2000年から2023年にかけての上位AIカンファレンス論文から抽出された5K語を含む、大規模な多言語AI用語データセットである。 この用語はアラビア語、中国語、フランス語、日本語、ロシア語に翻訳され、LLMを抽出するためのハイブリッドフレームワークと翻訳のための人間の専門知識を組み合わせたものである。 データセットの品質は既存のリソースに対してベンチマークされ、クラウドソースによる評価によって、より優れた翻訳精度を示す。
  論文  参考訳（メタデータ） (2024-12-24T11:50:18Z)
• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)
• A Survey on Vision-Language-Action Models for Embodied AI [71.16123093739932]
  エンボディードAIは、人工知能の重要な要素として広く認識されている。 組込みAIにおける言語条件ロボットタスクに対処するために、マルチモーダルモデルの新たなカテゴリが登場した。 具体的AIのための視覚-言語-アクションモデルに関する第1回調査を示す。
  論文  参考訳（メタデータ） (2024-05-23T01:43:54Z)
• Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。 これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。 これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
  論文  参考訳（メタデータ） (2023-10-23T18:11:32Z)
• A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT [63.58711128819828]
  ChatGPTおよびその他の生成AI(GAI)技術は、人工知能生成コンテンツ(AIGC)のカテゴリに属している。 AIGCの目標は、コンテンツ作成プロセスをより効率的かつアクセスしやすくし、高品質なコンテンツをより高速に生産できるようにすることである。
  論文  参考訳（メタデータ） (2023-03-07T20:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。