論文の概要: Integrating Transparent Models, LLMs, and Practitioner-in-the-Loop: A Case of Nonprofit Program Evaluation

• arxiv url: http://arxiv.org/abs/2510.19799v1
• Date: Wed, 22 Oct 2025 17:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.236993
• Title: Integrating Transparent Models, LLMs, and Practitioner-in-the-Loop: A Case of Nonprofit Program Evaluation
• Title（参考訳）: 透明モデル, LLM, 実践者のループ統合: 非営利プログラム評価を事例として
• Authors: Ji Ma, Albert Casella,
• Abstract要約: 本研究では,大規模言語モデル(LLM)と透明な決定木モデルを組み合わせて,予測精度,解釈可能性,実践的洞察を生み出すループ内ワークフローをテストする。 その結果, 透明モデル, LLM, 実践者の入力を統合することで, 正確で信頼性が高く, 行動可能なケースレベルの評価が得られることがわかった。
• 参考スコア（独自算出の注目度）: 1.716081941741349
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Public and nonprofit organizations often hesitate to adopt AI tools because most models are opaque even though standard approaches typically analyze aggregate patterns rather than offering actionable, case-level guidance. This study tests a practitioner-in-the-loop workflow that pairs transparent decision-tree models with large language models (LLMs) to improve predictive accuracy, interpretability, and the generation of practical insights. Using data from an ongoing college-success program, we build interpretable decision trees to surface key predictors. We then provide each tree's structure to an LLM, enabling it to reproduce case-level predictions grounded in the transparent models. Practitioners participate throughout feature engineering, model design, explanation review, and usability assessment, ensuring that field expertise informs the analysis at every stage. Results show that integrating transparent models, LLMs, and practitioner input yields accurate, trustworthy, and actionable case-level evaluations, offering a viable pathway for responsible AI adoption in the public and nonprofit sectors.
• Abstract（参考訳）: 一般的なアプローチでは、アクション可能なケースレベルのガイダンスを提供するのではなく、集約されたパターンを分析するのが一般的だが、ほとんどのモデルが不透明であるため、公立や非営利の組織はAIツールの採用をためらうことが多い。 本研究では,大規模言語モデル(LLM)と透明な決定木モデルを組み合わせて,予測精度,解釈可能性,実践的洞察を生み出すループ内ワークフローをテストする。 現在進行中の大学教育プログラムのデータを用いて、重要な予測因子を探索するために解釈可能な決定木を構築する。 次に、各木の構造をLLMに提供し、透明なモデルに基礎を置くケースレベルの予測を再現する。 実践者は、機能エンジニアリング、モデルデザイン、説明レビュー、ユーザビリティアセスメントに参加し、フィールドの専門知識があらゆる段階で分析を知らせる。 その結果、透明なモデル、LLM、実践者の入力を統合することで、正確で信頼性があり、行動可能なケースレベルの評価が得られ、公共および非営利セクターにおけるAI導入の責任を負うための実行可能な経路が提供されることがわかった。

関連論文リスト

• Large Language Model Sourcing: A Survey [84.63438376832471]
  大規模言語モデル(LLM)は人工知能に革命をもたらし、目的的タスクのサポートから主観的な意思決定の強化へと移行した。 LLMのブラックボックスの性質と生成したコンテンツの人間的品質のため、幻覚、偏見、不公平さ、著作権侵害などの問題が重要になる。 本研究は,4つの相互関連次元を中心に整理されたLCMによるコンテンツの出所追跡について,系統的研究を行った。
  論文  参考訳（メタデータ） (2025-10-11T10:52:30Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• LLM Processes: Numerical Predictive Distributions Conditioned on Natural Language [35.84181171987974]
  我々のゴールは、数値データを処理し、任意の場所で確率的予測を行うレグレッションモデルを構築することである。 まず、大規模言語モデルから明示的で一貫性のある数値予測分布を抽出する戦略を探求する。 本研究では,テキストを数値予測に組み込む能力を示し,予測性能を改善し,定性的な記述を反映した定量的な構造を与える。
  論文  参考訳（メタデータ） (2024-05-21T15:13:12Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。