論文の概要: Co-design of LLM-based preference agents: participation may drive overtrust

• arxiv url: http://arxiv.org/abs/2607.21757v1
• Date: Thu, 23 Jul 2026 19:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:56.97387
• Title: Co-design of LLM-based preference agents: participation may drive overtrust
• Title（参考訳）: LLMに基づく選好エージェントの共同設計:参加は過信を引き起こすかもしれない
• Abstract要約: 参加とプロセスの透明性は“オーバートラストエンジン”として機能する、と私は主張する。 参加選好エージェント設計における中核的なメカニズムとしてこれを開発し、個々のアライメントを固定状態ではなく、実行プロセスとして扱う。
• 参考スコア（独自算出の注目度）: 0.7252027234425333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used to simulate human preferences in research and practical applications, raising concerns about validation, misrepresentation, and exclusion. Co-designing agents with the people they represent is a promising way to address these concerns, but participation may also mask the problems it appears to solve. This paper explores that tension through a primarily qualitative study in which 12 participants co-designed personal preference agents in the domain of household energy, via a background survey, co-design interview, and validation survey. Participants engaged readily and mostly came to see their agents as representing them well. Independent validation, however, revealed mixed human-agent alignment, with agent responses markedly more homogeneous, decisive, and abstract than the human sample. I argue that participation and process transparency can act as an "overtrust engine" that promotes trust while concealing systematic misalignment with potential structural consequences at scale. I develop this as a core mechanism in participatory preference agent design, treating individual alignment not as a fixed state but as an enacted process.
• Abstract（参考訳）: 大規模な言語モデルは、研究や実践的な応用において人間の好みをシミュレートし、検証、表現の誤り、排除に対する懸念を高めるために、ますます使われてきている。 代表者との共同設計エージェントは、これらの懸念に対処するための有望な方法だが、参加もまた、解決すべき課題を隠蔽しているかもしれない。 本稿は、12人の参加者が家庭エネルギー分野の個人選好エージェントを共同設計する質的研究を通じて、背景調査、共同設計面接、検証調査を通じて緊張感を調査するものである。 参加者はすぐに婚約し、その代理人が彼らをよく代表していると見るようになった。 しかし、独立した検証では、ヒトとエージェントのアライメントが混在しており、エージェントの反応はヒトのサンプルよりも明らかに均質で決定的で抽象的であった。 私は、参加とプロセスの透明性は、大規模に構造的な結果をもたらす可能性を秘めながら、信頼を促進する「オーバートラストエンジン」として振る舞うことができると論じます。 参加選好エージェント設計における中核的なメカニズムとしてこれを開発し、個々のアライメントを固定状態ではなく、実行プロセスとして扱う。

関連論文リスト

• Enhancing Decision-Making with Large Language Models through Multi-Agent Fictitious Play [53.56274149236814]
  Multi-Agent Fictitious Play (MAFP)は、ステークホルダーのスタンスをエージェントとして表現する新しいMASパラダイムである。 MAFPは各エージェントの判断を、他のエージェントの過去の決定の実証的な混合に応じて反復的に更新する。 我々は、行動前に競合シナリオの戦略を決定する能力をテストする挑戦的な意思決定タスクにおいて、MAFPを評価する。
  論文  参考訳（メタデータ） (2026-06-17T17:31:06Z)
• Position: AI Agents Are Not (Yet) a Panacea for Social Simulation [62.891898598784415]
  大規模言語モデル(LLM)の最近の進歩は、社会シミュレーションにLLM統合エージェントを使うことへの関心が高まっている。 このポジションペーパーは、LSMをベースとしたエージェントは社会シミュレーションのパナセアではないと主張している。
  論文  参考訳（メタデータ） (2026-02-19T06:35:07Z)
• Can an Individual Manipulate the Collective Decisions of Multi-Agents? [53.01767232004823]
  M-Spoilerは、マルチエージェントシステム内のエージェントインタラクションをシミュレートして、対向サンプルを生成するフレームワークである。 M-スポイラーは、敵対的サンプルの最適化を積極的に支援するスタブボーン剤を導入した。 本研究は,マルチエージェントシステムにおける個々のエージェントの知識によって引き起こされるリスクを検証した。
  論文  参考訳（メタデータ） (2025-09-20T01:54:20Z)
• DoubleAgents: Exploring Mechanisms of Building Trust with Proactive AI [29.777890680647186]
  DoubleAgentsは、ユーザの介入を通じて透明性とコントロールを組み込むエージェント計画ツールである。 内蔵された応答シミュレーションは現実的なシナリオを生成し、ユーザーはリハーサルし、ポリシーを洗練し、信頼度を調整できる。
  論文  参考訳（メタデータ） (2025-09-16T03:43:13Z)
• Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble [46.82793004650415]
  大規模言語モデル(LLM)は、様々なタスクにまたがる人間のような応答をエミュレートする可能性を実証している。 本研究では,LLMをエージェントプロキシとして扱う新しいアライメントフレームワークを提案する。 我々は、構造化されたプロンプトエンジニアリング、エントロピーに基づくサンプリング、回帰に基づく選択を用いて、LLMエージェントを代表的行動パターンに向けて操るシステムであるP2Pを紹介する。
  論文  参考訳（メタデータ） (2025-09-14T15:08:45Z)
• Are LLM Agents Behaviorally Coherent? Latent Profiles for Social Simulation [18.70850695450292]
  LLM(Large Language Models)は、人工エージェントが人間-対象研究の実際の参加者の代用として機能するという考えを後押ししている。 エージェントは内部の整合性を維持し、異なる実験条件下での調査において同様の行動を維持するか? 本研究では,エージェントの会話行動が,内部状態から期待するものと一致しているかを検討する。
  論文  参考訳（メタデータ） (2025-09-03T21:55:29Z)
• Assessing the Potential of Generative Agents in Crowdsourced Fact-Checking [7.326813521586858]
  大規模言語モデル(LLM)は、ファクトチェックタスク全体で強いパフォーマンスを示している。 本稿では,伝統的にヒトの群集に予約されていた事実確認作業に,生成エージェントが有意義に寄与するかどうかを考察する。 エージェント・群衆は、誠実さの分類において人間の群衆より優れ、内部の一貫性が高く、社会的および認知的バイアスに対する感受性が低下している。
  論文  参考訳（メタデータ） (2025-04-24T18:49:55Z)
• Language Agents as Digital Representatives in Collective Decision-Making [22.656601943922066]
  表現」とは、プロキシエージェントの参加を通じて、プロセスに個人の嗜好を提示する活動である。 本研究では,人的エージェントの代表者の行動能力を高めるために,テキストエージェントを訓練する可能性について検討する。
  論文  参考訳（メタデータ） (2025-02-13T14:35:40Z)
• Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance [95.03771007780976]
  我々は、人間の指示なしにタスクを予測および開始できるプロアクティブエージェントを開発するという課題に取り組む。 まず,実世界の人的活動を収集し,前向きなタスク予測を生成する。 これらの予測は、ヒトのアノテータによって受け入れられるか拒否されるかのどちらかとしてラベル付けされる。 ラベル付きデータは、人間の判断をシミュレートする報酬モデルをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-10-16T08:24:09Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。