Fugu-MT 論文翻訳(概要): Challenges of Auditing: Variability in Outputs of Large Language Models for Health

論文の概要: Challenges of Auditing: Variability in Outputs of Large Language Models for Health

arxiv url: http://arxiv.org/abs/2609.16590v1
Date: Tue, 15 Sep 2026 03:35:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 14:56:08.329474
Title: Challenges of Auditing: Variability in Outputs of Large Language Models for Health
Title（参考訳）: 監査の課題:健康のための大規模言語モデルの出力の変動
Abstract要約: 人々は健康アドバイスのためにフロンティアAIモデルをますます使うが、アクセスモードは異なる。アクセスモードにまたがる系統的な違いを見出す。これらの相違は評価の妥当性を制限する。
参考スコア（独自算出の注目度）: 12.086698137482749
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: People increasingly use frontier AI models for health advice, but via different access modes (e.g., ChatGPT, ChatGPT Health, APIs) with varying settings. Here, we find systematic differences across access modes. Because evaluations typically rely on APIs while consumers interact through chatbot interfaces, these discrepancies limit evaluation validity. Our findings underscore an urgent need for model providers to enable faithful replication of consumer experiences and settings for rigorous audits.
Abstract（参考訳）: 人々は健康アドバイスとしてフロンティアAIモデルをますます使用していますが、さまざまなアクセスモード(ChatGPT、ChatGPT Health、APIなど)を通じて、さまざまな設定で使用しています。ここでは、アクセスモード間の系統的な差異を見出す。評価は一般的にAPIに依存し、コンシューマはチャットボットインターフェースを介して対話するので、これらの違いは評価の妥当性を制限する。本研究は,消費者体験の忠実な再現と厳格な監査設定を実現するために,モデルプロバイダが緊急に必要であることを示すものである。

関連論文リスト

DiagFlowBench: Evaluating How Language Models Handle Off-Procedure Inputs in Grounded Diagnostic Dialogue [6.005080651260776]
言語モデルは、メンテナンス運用におけるアドバイザリシステムとしての役割をますます高めている。近年のシステムでは、これらのモデルを手続き的な文書化して、承認されたステップに制限している。しかし、実際には、オペレータークエリは、しばしばこの経路から分岐し、モデルが会話の途中でスコープ外の入力を認識する必要がある。
論文参考訳（メタデータ） (2026-06-16T13:28:55Z)
The AI Epistemic Deference Index: A Continuous Measure of Sycophancy [42.31792244964347]
我々はAIてんかん評価指標(AEDI)を提案する。 AEDIは、モデルの出力で表されるサポートが、ユーザのプロンプトで表される態度にどれほど敏感であるかを表す、連続した一次元スコアである。さまざまなトピックにまたがる500の命題と16,000のプロンプトからなる新しいキュレートされたデータベースにデプロイし、8つの著名なモデルをテストします。
論文参考訳（メタデータ） (2026-06-05T23:16:28Z)
End-to-End Chatbot Evaluation with Adaptive Reasoning and Uncertainty Filtering [3.2434811678562685]
大規模言語モデル(LLM)と検索拡張生成を組み合わせることで、ドメイン固有のチャットボットのデプロイが可能になったが、これらのシステムはサポートされていない、あるいは誤った回答を生成する傾向にある。本研究では,人的労力を大幅に削減するエンド・ツー・エンド自動評価器を提案する。本システムでは,基礎となる知識ベースから直接Q&Aペアを生成し,LLMを用いて参照応答に対する応答を判定し,不確実な事例を強調するために信頼度に基づくフィルタリングを適用する。
論文参考訳（メタデータ） (2026-03-11T09:25:35Z)
LLM Spirals of Delusion: A Benchmarking Audit Study of AI Chatbot Interfaces [0.0]
56の20ターン会話テストChatGPT-4oとChatGPT-5をAPIとチャットインターフェースを介して実行します。また,ChatGPT-5では,ChatGPT-4oよりも梅毒,エスカレーション,妄想の強化が低いことが判明した。更新されたモデルでさえ相当量のネガティブな振る舞いを示しており、モデルの改善がモデルの安全性を示唆しないことを示している。
論文参考訳（メタデータ） (2026-02-20T15:48:56Z)
AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文参考訳（メタデータ） (2025-08-29T07:40:39Z)
Interactive Reasoning: Visualizing and Controlling Chain-of-Thought Reasoning in Large Language Models [54.85405423240165]
トピックの階層構造としてチェーンオブ思考出力を可視化するインタラクション設計であるInteractive Reasoningを導入する。私たちは、不確実なトレードオフに直面したAIによる意思決定のプロトタイプであるHippoで、インタラクティブな推論を実装しています。
論文参考訳（メタデータ） (2025-06-30T10:00:43Z)
Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文参考訳（メタデータ） (2025-02-21T20:29:02Z)
Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文参考訳（メタデータ） (2024-10-08T17:59:03Z)
Vibe-Eval: A hard evaluation suite for measuring progress of multimodal language models [67.62126108440003]
マルチモーダルチャットモデルを評価するための新しいオープンベンチマークとフレームワークであるVibe-Evalを紹介する。 Vibe-Evalは、100の難易度を含む269の視覚的理解プロンプトで構成され、専門家によって書かれたゴールド標準応答が完備している。本稿では,人間と自動評価のトレードオフについて論じるとともに,Reka Coreを用いた自動モデル評価が人的判断と大まかに相関していることを示す。
論文参考訳（メタデータ） (2024-05-03T17:59:55Z)
Modeling Mobile Health Users as Reinforcement Learning Agents [27.300572343559285]
モバイルヘルス(mHealth)技術は、患者が日常生活で健康な行動を採用する/維持することを可能にする。介入がなければ、人間の意思決定が損なわれる可能性がある。障害の種類によって最適な介入のタイプが異なることを示す。
論文参考訳（メタデータ） (2022-12-01T20:52:05Z)
AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。