論文の概要: Robustness of Chatbot LLM Judgments of Presidential Actions and Hypothetical Reforms

• arxiv url: http://arxiv.org/abs/2610.39398v2
• Date: Fri, 30 Oct 2026 17:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.424279
• Title: Robustness of Chatbot LLM Judgments of Presidential Actions and Hypothetical Reforms
• Title（参考訳）: 大統領行動と仮説改革におけるチャットボットLLM判決のロバスト性
• Abstract要約: チャットボットの堅牢性を測定するために、コンシューマー向けチャットインターフェースを使用します。 30日間、最後の4つの大統領政権と15の仮説改革の40の行動のうち、アメリカに対する長期的な影響を1日に2回評価する5つの構成が求められた。 判決は堅牢であり、全ての構成は行政の平均スコアの符号と順位に一致し、同じ日に求められた2つの異なる構成は、約4%のケースで同じ行動に対する反対の兆候を与える。
• 参考スコア（独自算出の注目度）: 6.565501989566402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chatbots are increasingly consulted about public affairs, and their judgments of policies are useful only if they are robust. We measure this robustness in the setting of an ordinary user, through consumer chat interfaces. For 30 days, five chatbot configurations (Mistral, Gemini Flash, Claude Sonnet, and Claude Opus at two effort settings) were asked twice a day to score the long-term effect on the United States of 40 actions of the last four presidential administrations and of 15 hypothetical reforms, each with a confidence and a short comment. The judgments are robust: all configurations agree on the sign and the ranking of the administrations' mean scores, and two different configurations asked on the same day give opposite signs to the same action in about 4% of cases. Responses from different days differ more than same-day responses (which shared the order of the items); the difference grows slowly over the month, except where the service itself changed. We identify three such changes, which shifted the judgments while leaving little or no trace in the interface. Treating the comments as a retrieval task, we find them specific to each item and consistent across runs and chatbots, with lexical and embedding similarities agreeing. We release the dataset of 16,500 judgments.
• Abstract（参考訳）: チャットボットは公務についてますます相談を受けており、彼らの政策判断は堅牢である場合に限り有用である。 一般ユーザーの設定におけるこの堅牢性は、コンシューマー・チャット・インタフェースを通じて測定する。 30日間、30日間、5つのチャットボット構成(ミストラル、ジェミニ・フラッシュ、クロード・ソネット、クロード・オプスの2つの取り組み設定)が1日に2回、最後の4つの大統領政権の40の行動と15の仮説的改革の長期的効果を、それぞれ自信と短いコメントで評価するよう求められた。 判決は堅牢で、すべての構成は、行政の平均スコアのサインとランキングに一致し、同じ日に2つの異なる構成が、約4%のケースで同じ行動に対する反対の兆候を与える。 異なる日のレスポンスは、同じ日のレスポンス(アイテムの順序を共有している)よりも多様です。 このような3つの変化を識別し、インターフェースにほとんど、あるいは全く痕跡を残さずに判断をシフトした。 コメントを検索タスクとして扱うと、各項目に固有のものを見つけ、ランニングやチャットボット間で一貫性を持ち、語彙的および埋め込み的な類似性が一致する。 16,500の判断のデータセットをリリースします。

関連論文リスト

• People Making Conversation: Evaluating How Naturally Speech Models Converse [0.0]
  リアルタイム音声システムは、427停止時と482ターンで、Seamless Interactionにおける176の未記述会話から終了する。 これまでに各会話を行い、その人がしたことに対して何を生み出したかを記録します。 6つのシステムにまたがって、ホストされたAPIは、使用するエンドポイントのほぼすべての一時停止で応答する。
  論文  参考訳（メタデータ） (2026-10-08T23:18:20Z)
• How a Chatbot's Response Style Shapes a Classroom: A Multi-Agent Simulation of Students Consulting AI [0.0]
  多くのユーザーの状態や関係が、AIに相談し続けるとどのように共進化していくかは、実際の環境で観察することは困難である。 我々は、20人の学生エージェントがルールベースのチャット、口論、友人との相談を通じて対話する仮想教室を構築し、強調された場合、代わりにカウンセラーAIを相談する。 3つの教室で15日以上、50日以上、しきい値以下を含む7つの条件を比較した。
  論文  参考訳（メタデータ） (2026-09-04T11:33:28Z)
• TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue [79.83228182492354]
  自然な会話の話し手は、話と聞き取りを交互に行い、いつ床をつかむか、保持するか、または譲るかをリアルタイムで決める。 そこで本研究では,30時間の人的会話を手作業でラベル付けしたコーパスを,エンド・オブ・ターンと割り込み検出のための標準評価プロトコルと組み合わせたベンチマークTurnBenchを提案する。 一方、割り込み偽陽性は強く型依存的であり、バックチャネル・デンス相互作用スタイルに集中している。
  論文  参考訳（メタデータ） (2026-08-25T23:14:36Z)
• Hear2Act: Benchmarking When Prosody Should Change What an Assistant Does [27.909684871924004]
  本稿では,テキストと音声アシスタントの統一評価プロトコルであるHear2Actを紹介する。 我々は、転写、音声、および関心状態アクセスに基づく意思決定を評価する。 語彙的証拠が不十分な場合には韻律が重要であることを示す。
  論文  参考訳（メタデータ） (2026-08-20T00:16:36Z)
• LLM Spirals of Delusion: A Benchmarking Audit Study of AI Chatbot Interfaces [0.0]
  56の20ターン会話テストChatGPT-4oとChatGPT-5をAPIとチャットインターフェースを介して実行します。 また,ChatGPT-5では,ChatGPT-4oよりも梅毒,エスカレーション,妄想の強化が低いことが判明した。 更新されたモデルでさえ相当量のネガティブな振る舞いを示しており、モデルの改善がモデルの安全性を示唆しないことを示している。
  論文  参考訳（メタデータ） (2026-02-20T15:48:56Z)
• Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
  System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。 本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。 我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。 そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:10:29Z)
• In Generative AI we Trust: Can Chatbots Effectively Verify Political Information? [39.58317527488534]
  本稿では,2つの大規模言語モデル(LLM)ベースのチャットボットであるChatGPTとBing Chatの比較分析を行い,政治的情報の正確性を検出する。 AI監査手法を使用して、新型コロナウイルス、ロシアによるウクライナに対する攻撃、ホロコースト、気候変動、LGBTQ+関連の議論の5つのトピックについて、チャットボットが真、偽、および境界線をどう評価するかを調査する。 その結果, ベースライン精度評価タスクにおけるChatGPTの性能が向上し, 72%のケースが事前学習なしで言語平均で正しく評価された。
  論文  参考訳（メタデータ） (2023-12-20T15:17:03Z)
• Chatbots put to the test in math and logic problems: A preliminary comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard [68.8204255655161]
  曖昧さがなく、プレーンテキストのみで完全に記述され、ユニークな、明確に定義された正しい回答を持つ、30の質問を使用します。 回答は記録され、議論され、その強みと弱点を強調します。 その結果,ChatGPT-4はChatGPT-3.5より優れていた。
  論文  参考訳（メタデータ） (2023-05-30T11:18:05Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。