論文の概要: AINL-Eval 2025 Shared Task: Detection of AI-Generated Scientific Abstracts in Russian
- arxiv url: http://arxiv.org/abs/2508.09622v1
- Date: Wed, 13 Aug 2025 08:53:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.820403
- Title: AINL-Eval 2025 Shared Task: Detection of AI-Generated Scientific Abstracts in Russian
- Title（参考訳）: AINL-Eval 2025 共有タスク:ロシアにおけるAI生成科学抽象化の検出
- Authors: Tatiana Batura, Elena Bruches, Milana Shvenk, Valentin Malykh,
- Abstract要約: 大規模言語モデル(LLM)はテキスト生成に革命をもたらしており、人間とAIが生成するコンテンツを区別することがますます困難になっている。
AINL-Eval 2025 Shared Taskを導入し、特にロシアにおけるAI生成の科学的抽象化の検出に焦点を当てた。
本稿では,12の科学的領域にまたがる人間による要約や,5つの最先端のLLMからAIによって生成されたデータセットを含む,52,305のサンプルからなる,新しい大規模データセットを提案する。
- 参考スコア（独自算出の注目度）: 4.819285818808181
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of large language models (LLMs) has revolutionized text generation, making it increasingly difficult to distinguish between human- and AI-generated content. This poses a significant challenge to academic integrity, particularly in scientific publishing and multilingual contexts where detection resources are often limited. To address this critical gap, we introduce the AINL-Eval 2025 Shared Task, specifically focused on the detection of AI-generated scientific abstracts in Russian. We present a novel, large-scale dataset comprising 52,305 samples, including human-written abstracts across 12 diverse scientific domains and AI-generated counterparts from five state-of-the-art LLMs (GPT-4-Turbo, Gemma2-27B, Llama3.3-70B, Deepseek-V3, and GigaChat-Lite). A core objective of the task is to challenge participants to develop robust solutions capable of generalizing to both (i) previously unseen scientific domains and (ii) models not included in the training data. The task was organized in two phases, attracting 10 teams and 159 submissions, with top systems demonstrating strong performance in identifying AI-generated content. We also establish a continuous shared task platform to foster ongoing research and long-term progress in this important area. The dataset and platform are publicly available at https://github.com/iis-research-team/AINL-Eval-2025.
- Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩はテキスト生成に革命をもたらし、人間とAIが生成するコンテンツを区別することがますます困難になっている。
これは学術的整合性、特に検出資源が制限される科学出版や多言語文脈において重要な課題となる。
AINL-Eval 2025 Shared Taskを導入し、特にロシアにおけるAI生成の科学的抽象化の検出に焦点を当てた。
本稿では,12の異なる科学領域にまたがる人間による要約を含む52,305のサンプルと,5つの最先端LLM(GPT-4-Turbo,Gemma2-27B,Llama3.3-70B,Deepseek-V3,GigaChat-Lite)からAIが生成したデータを含む,新しい大規模データセットを提案する。
この課題の中核的な目的は、双方に一般化可能な堅牢なソリューションを開発するために参加者に挑戦することである。
(i)以前は目に見えない科学的領域と
(ii)トレーニングデータに含まれないモデル。
このタスクは2つのフェーズで編成され、10のチームと159の応募が集まった。
我々はまた、この重要な領域における継続的な研究と長期的な進歩を促進するために、継続的な共有タスクプラットフォームを構築します。
データセットとプラットフォームはhttps://github.com/iis-research-team/AINL-Eval-2025で公開されている。
関連論文リスト
- HybridQuestion: Human-AI Collaboration for Identifying High-Impact Research Questions [48.1029746371619]
「AIサイエンティスト」パラダイムは研究プロセスの重要な段階を自動化して科学研究を変革している。
AIの科学者が意味のある研究の疑問を特定できるのか?
本稿では、AIのスケーラブルなデータ処理機能と、人間の専門家の価値判断を統合する、人間-AIハイブリッドソリューションを提案する。
論文 参考訳（メタデータ） (2025-12-18T15:10:38Z) - M-DAIGT: A Shared Task on Multi-Domain Detection of AI-Generated Text [3.91352287996586]
本稿では,M-DAIGT(Multi-Domain Detection of AI-Generated Text)共有タスクを提案する。
M-DAIGTは、ニュース記事検出(NAD)とアカデミック記述検出(AWD)の2つのバイナリ分類サブタスクからなる。
合計46のチームが共有タスクに登録され、4つのチームが最終結果を提出した。
論文 参考訳（メタデータ） (2025-11-14T14:26:31Z) - A Comprehensive Dataset for Human vs. AI Generated Text Detection [23.0218614564443]
ニューヨーク・タイムズ紙の記事から58,000件以上のテキストサンプルからなる包括的データセットを提案する。
このデータセットは、オリジナルの記事をプロンプトとして抽象化し、完全な人間による物語を提供する。
AI生成テキストと人書きテキストを区別し、AIテキストを8.92%の精度で生成モデルに関連付けるという2つの重要なタスクのベースライン結果を確立します。
論文 参考訳（メタデータ） (2025-10-26T23:50:52Z) - AI-generated Text Detection: A Multifaceted Approach to Binary and Multiclass Classification [0.13392361199400257]
大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。
このような機能は、偽ニュース生成、スパムメールの作成、学術的課題における誤用など、潜在的な誤用につながる。
最適化されたモデルとより単純なバリエーションの2つのニューラルアーキテクチャを提案する。
タスクAでは、最適化されたニューラルアーキテクチャが0.994ドルのF1$スコアで5位、タスクBでは、単純なニューラルアーキテクチャが0.627のF1$スコアで5位にランクインした。
論文 参考訳（メタデータ） (2025-05-15T09:28:06Z) - A Large-Scale Vision-Language Dataset Derived from Open Scientific Literature to Advance Biomedical Generalist AI [70.06771291117965]
PubMed Central Open Accessサブセットから派生したオープンソースのデータセットであるBiomedicaを紹介する。
Biomedicaには600万以上の科学論文と2400万の画像テキストペアが含まれている。
私たちは、Webサーバを通じてスケーラブルなストリーミングと検索APIを提供し、AIシステムとのシームレスな統合を容易にします。
論文 参考訳（メタデータ） (2025-03-26T05:56:46Z) - Towards Global AI Inclusivity: A Large-Scale Multilingual Terminology Dataset (GIST) [19.91873751674613]
GISTは2000年から2023年にかけての上位AIカンファレンス論文から抽出された5K語を含む、大規模な多言語AI用語データセットである。
この用語はアラビア語、中国語、フランス語、日本語、ロシア語に翻訳され、LLMを抽出するためのハイブリッドフレームワークと翻訳のための人間の専門知識を組み合わせたものである。
データセットの品質は既存のリソースに対してベンチマークされ、クラウドソースによる評価によって、より優れた翻訳精度を示す。
論文 参考訳（メタデータ） (2024-12-24T11:50:18Z) - SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。
本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。
我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
論文 参考訳（メタデータ） (2024-09-11T17:37:48Z) - A Survey on Vision-Language-Action Models for Embodied AI [71.16123093739932]
エンボディードAIは、人工知能の重要な要素として広く認識されている。
組込みAIにおける言語条件ロボットタスクに対処するために、マルチモーダルモデルの新たなカテゴリが登場した。
具体的AIのための視覚-言語-アクションモデルに関する第1回調査を示す。
論文 参考訳（メタデータ） (2024-05-23T01:43:54Z) - Generative AI in Writing Research Papers: A New Type of Algorithmic Bias
and Uncertainty in Scholarly Work [0.38850145898707145]
大規模言語モデル(LLM)と生成AIツールは、バイアスを特定し、対処する上での課題を提示している。
生成型AIツールは、不正な一般化、幻覚、レッド・チーム・プロンプトのような敵攻撃を目標とする可能性がある。
研究原稿の執筆過程に生成AIを組み込むことで,新しいタイプの文脈依存型アルゴリズムバイアスがもたらされることがわかった。
論文 参考訳（メタデータ） (2023-12-04T04:05:04Z) - Towards Possibilities & Impossibilities of AI-generated Text Detection:
A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。
これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。
これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文 参考訳（メタデータ） (2023-10-23T18:11:32Z) - A Comprehensive Survey of AI-Generated Content (AIGC): A History of
Generative AI from GAN to ChatGPT [63.58711128819828]
ChatGPTおよびその他の生成AI(GAI)技術は、人工知能生成コンテンツ(AIGC)のカテゴリに属している。
AIGCの目標は、コンテンツ作成プロセスをより効率的かつアクセスしやすくし、高品質なコンテンツをより高速に生産できるようにすることである。
論文 参考訳（メタデータ） (2023-03-07T20:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。