論文の概要: Reasoning and the Trusting Behavior of DeepSeek and GPT: An Experiment Revealing Hidden Fault Lines in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.12825v1
• Date: Tue, 18 Feb 2025 12:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:40.333864
• Title: Reasoning and the Trusting Behavior of DeepSeek and GPT: An Experiment Revealing Hidden Fault Lines in Large Language Models
• Title（参考訳）: ディープシークとGPTの推論と信頼行動:大規模言語モデルにおける隠れ断層線の探索実験
• Authors: Rubing Lu, João Sedoc, Arun Sundararajan,
• Abstract要約: 低知覚のスイッチング摩擦は、より微妙な振る舞いの変化を考慮しない選択につながる可能性がある。 実験では,信頼のゲーム理論的行動経済学モデルを用いて,OpenAIの信頼行動とDeepSeekのモデルとの信頼行動の相違を示す。
• 参考スコア（独自算出の注目度）: 7.148192017622506
• License:
• Abstract: When encountering increasingly frequent performance improvements or cost reductions from a new large language model (LLM), developers of applications leveraging LLMs must decide whether to take advantage of these improvements or stay with older tried-and-tested models. Low perceived switching frictions can lead to choices that do not consider more subtle behavior changes that the transition may induce. Our experiments use a popular game-theoretic behavioral economics model of trust to show stark differences in the trusting behavior of OpenAI's and DeepSeek's models. We highlight a collapse in the economic trust behavior of the o1-mini and o3-mini models as they reconcile profit-maximizing and risk-seeking with future returns from trust, and contrast it with DeepSeek's more sophisticated and profitable trusting behavior that stems from an ability to incorporate deeper concepts like forward planning and theory-of-mind. As LLMs form the basis for high-stakes commercial systems, our results highlight the perils of relying on LLM performance benchmarks that are too narrowly defined and suggest that careful analysis of their hidden fault lines should be part of any organization's AI strategy.
• Abstract（参考訳）: 新たな大規模言語モデル(LLM)から頻繁にパフォーマンス改善やコスト削減に直面すると、LLMを利用するアプリケーションの開発者は、これらの改善を活用するか、旧来の試行錯誤モデルに留まるかを判断しなければならない。 低知覚のスイッチング摩擦は、遷移が引き起こす可能性のあるより微妙な振る舞いの変化を考慮しない選択につながる可能性がある。 実験では,信頼のゲーム理論的行動経済学モデルを用いて,OpenAIの信頼行動とDeepSeekのモデルとの信頼行動の相違を示す。 我々は、o1-miniモデルとo3-miniモデルの経済信頼行動の崩壊を強調し、彼らは利益の最大化とリスク探究を信頼からの利益と一致させ、これを、先進計画やマイニング理論のようなより深い概念を組み込む能力から生まれたDeepSeekのより高度で利益の出る信頼行動と対比する。 LLMがハイテイクな商用システムの基盤を形成する中、我々の結果は、狭すぎる定義のLCMパフォーマンスベンチマークに依存する危険性を強調し、その隠れた障害線を慎重に分析することが、組織のAI戦略の一部であるべきであることを示唆している。

関連論文リスト

• OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models [68.17018458283651]
  本研究は,LLMのチェーン・オブ・思想能力のオフライン評価に焦点をあてる。 我々は知識グラフ(例えばWikidata5m)を使って、生成された思考の連鎖に対するフィードバックを提供する。 提案手法に基づいてLCMを最適化する方法を示す。
  論文  参考訳（メタデータ） (2024-10-31T07:48:44Z)
• Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL [7.988692259455583]
  Reinforcement Learning from Human Feedbackで訓練された大規模言語モデル(LLM)は、目覚ましい能力を示しているが、その基盤となる報酬関数や意思決定プロセスは不透明である。 本稿では, 逆強化学習(IRL)を用いて暗黙の報酬関数を復元することにより, LLMを解釈する新しい手法を提案する。 我々は,ヒトの嗜好を予測する上で,最大80.40%の精度を達成できる報酬モデルを抽出し,様々な大きさの毒性アライメントLDMについて実験を行った。
  論文  参考訳（メタデータ） (2024-10-16T12:14:25Z)
• Behavioral Bias of Vision-Language Models: A Behavioral Finance View [1.7205106391379021]
  本稿では,LVLM(Large Vision-Language Models)の行動バイアスについて,行動金融の観点から検討する。 評価の結果,LLaVA-NeXT,MobileVLM-V2,Mini-Gemini,Mini-Llama3-V 2.5,Phi-3-vision-128kといったオープンソースのLVLMは,これらの2つのバイアスに大きく影響していることがわかった。 私たちの観察では、オープンソースモデルの改善の方向性を強調しています。
  論文  参考訳（メタデータ） (2024-09-23T17:54:47Z)
• On the Hardness of Faithful Chain-of-Thought Reasoning in Large Language Models [25.029579061612456]
  大規模言語モデル(LLM)は、医療などの重要な領域における現実世界のアプリケーションにますます採用されている。 これらのモデルによって生成されたCoT(Chain-of-Thought)推論が、その基盤となる振る舞いを忠実に捉えることが重要である。
  論文  参考訳（メタデータ） (2024-06-15T13:16:44Z)
• CogBench: a large language model walks into a psychology lab [12.981407327149679]
  本稿では,7つの認知心理学実験から得られた10の行動指標を含むベンチマークであるCogBenchを紹介する。 本稿では,CagBenchを35大言語モデル(LLM)に適用し,統計的多レベルモデリング手法を用いて解析する。 オープンソースモデルは、プロプライエタリなモデルよりもリスクが高く、コードの微調整は必ずしもLLMの振舞いを促進しない。
  論文  参考訳（メタデータ） (2024-02-28T10:43:54Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)
• The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
  ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。 LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。 自己補充ベースラインよりも+5ポイントの性能向上を達成する。
  論文  参考訳（メタデータ） (2023-11-14T07:26:32Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。