論文の概要: Impact of a Deployed LLM Survey Creation Tool through the IS Success Model
- arxiv url: http://arxiv.org/abs/2506.14809v1
- Date: Tue, 03 Jun 2025 22:36:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-22 23:32:14.69485
- Title: Impact of a Deployed LLM Survey Creation Tool through the IS Success Model
- Title（参考訳）: IS成功モデルによるデプロイメントLDMサーベイ作成ツールの影響
- Authors: Peng Jiang, Vinicius Cezar Monteiro de Lira, Antonio Maiorino,
- Abstract要約: 本稿では,調査品質を維持しつつ,データ収集を高速化するLLMシステムの実現について述べる。
DeLone と McLean IS Success Model を用いてシステム評価を行い、生成AIがコア IS メソッドをどのように作り直すかを理解する。
- 参考スコア（独自算出の注目度）: 6.522798387883815
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Surveys are a cornerstone of Information Systems (IS) research, yet creating high-quality surveys remains labor-intensive, requiring both domain expertise and methodological rigor. With the evolution of large language models (LLMs), new opportunities emerge to automate survey generation. This paper presents the real-world deployment of an LLM-powered system designed to accelerate data collection while maintaining survey quality. Deploying such systems in production introduces real-world complexity, including diverse user needs and quality control. We evaluate the system using the DeLone and McLean IS Success Model to understand how generative AI can reshape a core IS method. This study makes three key contributions. To our knowledge, this is the first application of the IS Success Model to a generative AI system for survey creation. In addition, we propose a hybrid evaluation framework combining automated and human assessments. Finally, we implement safeguards that mitigate post-deployment risks and support responsible integration into IS workflows.
- Abstract（参考訳）: 調査は情報システム(IS)研究の基盤であるが、高品質な調査を作成することは労働集約的であり、ドメインの専門知識と方法論の厳密さの両方を必要とする。
大規模言語モデル(LLM)の進化に伴い、サーベイ生成を自動化する新たな機会が出現する。
本稿では,調査品質を維持しつつ,データ収集を高速化するLLMシステムの実現について述べる。
このようなシステムを本番環境にデプロイすることは、多様なユーザニーズや品質管理など、現実の複雑さをもたらす。
DeLone と McLean IS Success Model を用いてシステム評価を行い、生成AIがコア IS メソッドをどのように作り直すかを理解する。
この研究は3つの重要な貢献をする。
私たちの知る限り、これはIS成功モデルの最初の、サーベイ作成のための生成AIシステムへの応用である。
さらに,自動評価と人的評価を組み合わせたハイブリッド評価フレームワークを提案する。
最後に、デプロイ後のリスクを軽減し、ISワークフローへの責任ある統合をサポートするためのセーフガードを実装します。
関連論文リスト
- SurveyX: Academic Survey Automation via Large Language Models [22.597703631935463]
SurveyXは、自動サーベイ生成のための効率的で組織化されたシステムである。
調査構成過程を, 準備と生成の2段階に分割する。
これは調査組成物の有効性を著しく向上させる。
論文 参考訳（メタデータ） (2025-02-20T17:59:45Z) - MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。
これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。
我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
論文 参考訳（メタデータ） (2025-02-20T12:28:23Z) - Boost, Disentangle, and Customize: A Robust System2-to-System1 Pipeline for Code Generation [58.799397354312596]
大規模言語モデル(LLM)は、様々な領域、特にシステム1タスクにおいて顕著な機能を示した。
System2-to-System1法に関する最近の研究が急増し、推論時間計算によるシステム2の推論知識が探索された。
本稿では,システム2タスクの代表的タスクであるコード生成に注目し,主な課題を2つ挙げる。
論文 参考訳（メタデータ） (2025-02-18T03:20:50Z) - Deploying Large Language Models With Retrieval Augmented Generation [0.21485350418225244]
Retrieval Augmented Generationは、大規模言語モデルのトレーニングセット外のデータソースからの知識を統合するための重要なアプローチとして登場した。
本稿では,LLMとRAGを統合して情報検索を行うパイロットプロジェクトの開発とフィールドテストから得られた知見について述べる。
論文 参考訳（メタデータ） (2024-11-07T22:11:51Z) - Game On: Towards Language Models as RL Experimenters [8.131696370980379]
本稿では,一般的な強化学習実験ワークフローの一部を自動化するエージェントアーキテクチャを提案する。
我々は、言語条件のアクター・クリティカルアルゴリズムにスキルのカリキュラムを提供するために、追加の微調整をせずに、標準のジェミニモデルを使用する。
成長するスキルのライブラリを構築し、それらのスキルの訓練の進捗を判断するシステムの能力のさらなる検証も、有望な結果を示している。
論文 参考訳（メタデータ） (2024-09-05T10:38:16Z) - AutoSurvey: Large Language Models Can Automatically Write Surveys [77.0458309675818]
本稿では,総合的な文献調査を自動作成する手法であるAutoSurveyを紹介する。
従来の調査論文は、膨大な量の情報と複雑さのために、課題に直面している。
我々の貢献には、調査問題に対する総合的な解決策、信頼性評価方法、AutoSurveyの有効性を実証する実験的な検証が含まれる。
論文 参考訳（メタデータ） (2024-06-10T12:56:06Z) - System for systematic literature review using multiple AI agents:
Concept and an empirical evaluation [5.194208843843004]
本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。
このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。
関連する学術論文を検索するために使用される検索文字列を生成する。
モデルはこれらの論文の要約を自律的に要約する。
論文 参考訳（メタデータ） (2024-03-13T10:27:52Z) - DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。
開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。
デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-27T12:26:07Z) - A Study on Training and Developing Large Language Models for Behavior
Tree Generation [22.632022793663516]
本稿では,大規模言語モデル(LLM)の適用可能性について,革新的な考察を行う。
本論文の中核となる貢献は,LLMに基づくBT生成フレームワークの設計である。
生成したBTの有効性と実行性を確保するため,データ検証の重要性を強調した。
論文 参考訳（メタデータ） (2024-01-16T03:28:29Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。