論文の概要: Rigidity in LLM Bandits with Implications for Human-AI Dyads

• arxiv url: http://arxiv.org/abs/2603.07717v1
• Date: Sun, 08 Mar 2026 16:42:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.094594
• Title: Rigidity in LLM Bandits with Implications for Human-AI Dyads
• Title（参考訳）: LLMバンドの剛性とヒト-AI色素の意義
• Authors: Haomiaomiao Wang, Tomás E Ward, Lili Zhang,
• Abstract要約: 4つのデコード構成で1条件あたり20000トライアルを実行しています。 対称的な報酬の下で、モデルは位置順を頑固な片腕ポリシーに増幅した。 非対称的な報酬の下で、彼らは厳格に悪用したが、託宣が不十分であり、めったに再チェックされることは無かった。
• 参考スコア（独自算出の注目度）: 1.5456780324506676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We test whether LLMs show robust decision biases. Treating models as participants in two-arm bandits, we ran 20000 trials per condition across four decoding configurations. Under symmetric rewards, models amplified positional order into stubborn one-arm policies. Under asymmetric rewards, they exploited rigidly yet underperformed an oracle and rarely re-checked. The observed patterns were consistent across manipulations of temperature and top-p, with top-k held at the provider default, indicating that the qualitative behaviours are robust to the two decoding knobs typically available to practitioners. Crucially, moving beyond descriptive metrics to computational modelling, a hierarchical Rescorla-Wagner-softmax fit revealed the underlying strategies: low learning rates and very high inverse temperatures, which together explain both noise-to-bias amplification and rigid exploitation. These results position minimal bandits as a tractable probe of LLM decision tendencies and motivate hypotheses about how such biases could shape human-AI interaction.
• Abstract（参考訳）: LLMが堅牢な決定バイアスを示すかどうかを検証する。 両腕バンディットの参加者としてモデルを扱い, 4つのデコード構成で条件毎に20000のトライアルを行った。 対称的な報酬の下で、モデルは位置順を頑固な片腕ポリシーに増幅した。 非対称的な報酬の下で、彼らは厳格に悪用したが、託宣が不十分であり、めったに再チェックされることは無かった。 観察されたパターンは、温度とトップpの操作間で一貫性があり、プロバイダの既定値でトップkが保持されており、定性的な動作は、実践者が通常利用できる2つのデコードノブに対して堅牢であることを示している。 重要なのは、記述的メトリクスから計算モデリングに移行することで、階層的なRescorla-Wagner-softmaxの適合は、低学習率と非常に高い逆温度という基本的な戦略を明らかにした。 これらの結果は、最小限の帯域幅をLLM決定傾向の抽出可能なプローブとして位置づけ、そのようなバイアスがどのように人間とAIの相互作用を形作るかについての仮説を動機付けている。

関連論文リスト

• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• Think Twice: Branch-and-Rethink Reasoning Reward Model [32.70732791642558]
  本稿では,2ターンのRMであるブランチ・アンド・リコンプリート(BR-RM)について紹介する。 我々は、厳密なフォーマットチェックによる単純なバイナリ結果報酬を用いて、構造化された2ターントレース上でGRPOスタイルの強化学習を訓練する。 All-at-oncescoringinto focus, second-lookreasoning を変換することにより、BR-RMreducesjudgmentdiffusionand は微妙で連続的な誤りに対する感受性を高める。
  論文  参考訳（メタデータ） (2025-10-27T17:58:07Z)
• OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment [38.1645520104553]
  OpenRubricsは,ルーブリック世代とルーブリックベースの報酬モデルをトレーニングするための,大規模な(プロンプト,エクスプリシット)ペアのコレクションである。 識別的・包括的評価信号を引き出すために,優先的・拒否的な応答を対比することにより,厳格な規則(単純質)と原則(簡易品質)の両方を導出するコントラスト生成(CRG)を導入する。 この結果から,ごみは費用対人評価と自動報酬モデリングのギャップを狭めるような,スケーラブルなアライメント信号を提供することがわかった。
  論文  参考訳（メタデータ） (2025-10-09T03:31:26Z)
• Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
  本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。 エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-09-28T16:33:07Z)
• Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning [0.5204229323525671]
  本稿では,マルチモーダル表現学習による因果推論を導入し,非教師付きバイアス耐性報酬信号を提供する。 我々は, フレーミングバイアス, クラス不均衡, 分散ドリフトを示すマルチモーダルフェイク対真のニュースデータセット上で, フレームワークの評価を行った。 その結果、偽ニュースの検出において89.12%の精度を達成し、ベースライン報酬モデルを上回った。
  論文  参考訳（メタデータ） (2025-08-27T04:54:33Z)
• T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
  T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。 提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:44:59Z)
• Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment [35.80989342492335]
  人間のフィードバックのノイズの多い好みは 報酬の一般化に繋がる 本研究の目的は,報酬モデルにおいて,騒音の嗜好が人間の嗜好とどのように異なるかを明らかにすることである。 我々は、堅牢な選好学習を実現するためのオンラインコラボレーション・リワード・モデリング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T10:58:20Z)
• Inverse Reinforcement Learning with Dynamic Reward Scaling for LLM Alignment [51.10604883057508]
  DR-IRL(逆強化学習によるリワードの動的調整)を提案する。 まず、IRLを介して7つの有害なカテゴリをカバーするバランスの取れた安全データセットを用いて、カテゴリ固有の報酬モデルを訓練する。 次に,テキストエンコーダのコサイン類似性によるデータレベルの硬さ,報酬ギャップによるモデルレベルの応答性など,タスク難易度による報酬を導入することにより,グループ相対政策最適化(GRPO)を強化する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:29Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Policy Evaluation and Seeking for Multi-Agent Reinforcement Learning via Best Response [15.149039407681945]
  多エージェント強化学習におけるメタレベルでの利己的な振る舞いをモデル化するために、厳密なベストレスポンスダイナミクスを採用する。 我々のアプローチは、弱い応答に依存するアルファランクよりもシングルエージェント強化学習と互換性がある。
  論文  参考訳（メタデータ） (2020-06-17T01:17:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。