論文の概要: The GenAI4IDN Benchmark 3.0 - a Public Tool to Assess Generative AI Tools for the Design of Interactive Digital Narratives
- arxiv url: http://arxiv.org/abs/2610.05633v1
- Date: Sun, 04 Oct 2026 23:55:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 12:23:50.059997
- Title: The GenAI4IDN Benchmark 3.0 - a Public Tool to Assess Generative AI Tools for the Design of Interactive Digital Narratives
- Title（参考訳）: GenAI4IDN Benchmark 3.0 - インタラクティブなデジタルナラティブの設計のための生成AIツールを評価する公開ツール
- Abstract要約: 本稿では,対話型デジタルナラティブ(IDN)を作成するための生成型AIツールを評価するための評価フレームワークであるgenAI4IDN Benchmark 3.0を提案する。
コミュニティは必要に応じてベンチマークを実行し、新しいモデルを追加し、新しいタスクを提案することができる。
改訂された評価フレームワークは、モデルバイアスを避けるために"盲検"され、以前は人間のレイパーを必要としていた音楽、ビデオ、完全なIDNなどの複雑なメディアを扱うことができる。
- 参考スコア（独自算出の注目度）: 0.7378408199031941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents GENAI4IDN Benchmark 3.0, the third iteration of an evaluation framework to assess Generative AI tools for creating Interactive Digital Narratives (IDNs). Moving beyond manual testing, this iteration introduces AI-assisted evaluation through a publicly accessible web application (https://genai4idn.com), enabling the community to run benchmarks on demand, add new models, and propose new tasks. The revised evaluation framework is "blinded" to avoid model-bias, and can handle complex media such as music, videos, and full IDNs that previously required human raters. A significant addition - responding to concerns raised during ICIDS 2025 - is the addition of fact-checking and bias detection with dedicated tasks and rubrics, validated by human raters with lived experience in the depicted contexts. Findings from a diverse range of models report on maturing creative capabilities while observing runaway thinking and overzealous safety filters as limitations. Fact-checking reliably caught subtle historical inaccuracies, anachronisms, and fabricated claims while the bias rater consistently exposed structural assumptions, tropes, and marginalized group erasures.
- Abstract（参考訳）: 本稿では,対話型デジタルナラティブ(IDN)を作成するための生成型AIツールを評価するための評価フレームワークであるgenAI4IDN Benchmark 3.0を提案する。
手動テストを超えて、このイテレーションは、パブリックアクセス可能なWebアプリケーション(https://genai4idn.com)を通じてAI支援評価を導入し、必要に応じてベンチマークを実行し、新しいモデルを追加し、新しいタスクを提案する。
改訂された評価フレームワークは、モデルバイアスを避けるために"盲検"され、以前は人間のレイパーを必要としていた音楽、ビデオ、完全なIDNなどの複雑なメディアを扱うことができる。
ICIDS 2025で提起された懸念に応えた重要な追加は、ファクトチェックと偏見検出、専用のタスクとルーブリックの追加である。
さまざまなモデルの発見は、逃走思考と過熱した安全フィルターを制限として観察しながら、創造性を成熟させると報告している。
ファクトチェックは微妙な歴史的不正確な不正確さ、アナクロニズム、製造されたクレームを確実に捉え、バイアスレーダは一貫して構造的仮定、トロープ、限界化されたグループ消去を明らかにした。
関連論文リスト
- Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models [74.1961755473754]
既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する厳密なパイプラインに依存している。
本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。
その結果,評価エージェントは評価時間を従来の手法の10%に短縮し,比較結果が得られた。
論文 参考訳（メタデータ） (2026-08-10T14:42:10Z) - Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling [6.372025352636228]
本稿では,アノテータの動作を現実的にモデル化するためのマルチレベルブートストラップ手法を提案する。
統計的意義を達成するために必要なアイテム数(N$)とアイテムあたりのレスポンス数(K$)のトレードオフを分析する。
論文 参考訳（メタデータ） (2026-05-13T17:22:27Z) - Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。
NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。
評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
論文 参考訳（メタデータ） (2026-01-12T05:43:51Z) - One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。
これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-30T06:08:27Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました
埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。
提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
論文 参考訳（メタデータ） (2024-11-21T09:46:55Z) - BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。
BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。
次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
論文 参考訳（メタデータ） (2024-10-29T22:56:18Z) - Establishing a Unified Evaluation Framework for Human Motion Generation: A Comparative Analysis of Metrics [6.708543240320757]
本稿では,人体動作生成のための8つの評価指標について詳細に検討する。
我々は一貫したモデル比較を容易にするため、統一的な評価設定を通じて標準化されたプラクティスを提案する。
変形する多様性を分析して時間歪みの多様性を評価する新しい指標を提案する。
論文 参考訳（メタデータ） (2024-05-13T12:10:57Z) - Cloud-based XAI Services for Assessing Open Repository Models Under Adversarial Attacks [7.500941533148728]
計算コンポーネントとアセスメントタスクをパイプラインにカプセル化するクラウドベースのサービスフレームワークを提案する。
我々は、AIモデルの5つの品質特性を評価するために、XAIサービスの応用を実証する。
論文 参考訳（メタデータ） (2024-01-22T00:37:01Z) - RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。
我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。
分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文 参考訳（メタデータ） (2020-10-19T17:06:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。