論文の概要: Faithful Where It Can Be Checked: Auditing a Reflection Agent Against Its System Prompt in a Randomized Trial

• arxiv url: http://arxiv.org/abs/2609.19635v1
• Date: Thu, 17 Sep 2026 03:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.088512
• Title: Faithful Where It Can Be Checked: Auditing a Reflection Agent Against Its System Prompt in a Randomized Trial
• Title（参考訳）: システムプロンプトに対する反射剤の検査を、ランダムな試行錯誤で行う
• Abstract要約: 最近のランダム化試験では、静的ジャーナリング調査において、GPT-4oのキャリアリフレクションエージェントと同一のプログラムを比較した。 エージェントの参加者は、彼らのキャリア計画へのコミットを減らし、より疑わしくなりました。 本研究は, 反射剤の設計と検査可能な指示書の作成について報告する。
• 参考スコア（独自算出の注目度）: 1.269789168324223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational agents are increasingly used to guide reflection. A recent randomized trial compared a GPT-4o career reflection agent with the same program in a static journaling survey. Agent participants ended less committed to their career plans and more doubtful. We coded all 17,930 turns from its two studies, checked our coding against human coders and linked conversations to the trial's surveys. The rules the agent followed were the easy-to-check ones, like a reply length cap. Told not to flatter, it praised participants in half of its turns; told to challenge gently, it almost never did, and such a break leaves no visible trace. The behavior tied to the worse outcome was the demand to decide: the survey posed each decision once, while the agent asked again when participants hesitated, and those pressed most ended most doubtful. Our findings inform reflection agent design and the writing of checkable instructions.
• Abstract（参考訳）: 会話エージェントは、反射を導くのにますます使用される。 最近のランダム化試験では、静的ジャーナリング調査において、GPT-4oのキャリアリフレクションエージェントと同一のプログラムを比較した。 エージェントの参加者は、彼らのキャリア計画へのコミットを減らし、より疑わしくなりました。 私たちは2つの研究から17,930のターンをコーディングし、人間のコーダーに対するコーディングをチェックし、トライアルの調査に会話をリンクしました。 エージェントが従うルールは、返信長の上限のような、簡単にチェックできるルールだった。 半分のターンで参加者を賞賛し、優しく挑戦するように言われたが、ほとんど行わなかった。 調査は各決定を1度提示し、エージェントはいつ参加者がためらうのかを再度尋ね、ほとんどの参加者は最も疑わしい結果となった。 本研究は, 反射剤の設計と検査可能な指示書の作成について報告する。

関連論文リスト

• Agentic Auto-Research is Fuzz Testing [15.838025468876486]
  我々は、この*generate-and-rank*パラダイムはスパースフィードバックの問題を見逃していると論じる。 提案手法は,予測された進行を予測できるかどうかの制御試験である。
  論文  参考訳（メタデータ） (2026-08-10T17:13:02Z)
• Assistant or Actor? Student Trust, Control, and Delegation Regret When Using a General-Purpose AI Agent [10.633573668629486]
  我々は,アクション空間が十分に予測できないシステムに何を委譲するかを決めると,ユーザが問題に直面していることを示す。 私たちは、結果として生じた不満代表団の後悔を、エージェントが怒ったのではなく、彼らが承認したであろうことを超えて行動したことを後悔するパターンと呼びます。 本稿では,アクション境界を公開するエージェント設計,タスクごとの自律ポリシーのサポート,エージェント実行からのアドバイザリアウトプットの分離などについて論じる。
  論文  参考訳（メタデータ） (2026-05-14T21:42:56Z)
• SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
  我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。 我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。 11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
  論文  参考訳（メタデータ） (2026-03-25T19:26:44Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs [61.07130026622437]
  大規模言語モデル(LLM)は、まだ自然言語推論タスクに苦戦している。 心の社会に動機づけられて、我々はReConcileを提案する。 LLMエージェント間のラウンドテーブル会議として設計されたマルチモデルマルチエージェントフレームワーク。
  論文  参考訳（メタデータ） (2023-09-22T17:12:45Z)
• Bandit Social Learning: Exploration under Myopic Behavior [54.767961587919075]
  オンラインプラットフォーム上でのレビューによって動機付けられた社会学習のダイナミクスについて検討する。 エージェントはまとめて単純なマルチアームのバンディットプロトコルに従うが、各エージェントは探索を伴わずにミオプティカルに振る舞う。 このような振る舞いに対して,スターク学習の失敗を導出し,好意的な結果を提供する。
  論文  参考訳（メタデータ） (2023-02-15T01:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。