論文の概要: Are DeepSeek R1 And Other Reasoning Models More Faithful?

• arxiv url: http://arxiv.org/abs/2501.08156v4
• Date: Thu, 20 Feb 2025 02:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 13:23:53.22472
• Title: Are DeepSeek R1 And Other Reasoning Models More Faithful?
• Title（参考訳）: DeepSeek R1その他の推論モデルはより忠実か?
• Authors: James Chua, Owain Evans,
• Abstract要約: 我々は,Qwen-2.5,Gemini-2,DeepSeek-V3-Baseの3つの推論モデルを評価する。 MMLU質問に対する解答に、その解答がどう影響するかをモデルで記述できるかどうかを検証する。 推論モデルは、テストされたすべての非推論モデルよりもはるかに確実にそれらに影響を与えるキューを記述する。
• 参考スコア（独自算出の注目度）: 2.0429566123690455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models trained to solve reasoning tasks via reinforcement learning have achieved striking results. We refer to these models as reasoning models. A key question emerges: Are the Chains of Thought (CoTs) of reasoning models more faithful than traditional models? To investigate this, we evaluate three reasoning models (based on Qwen-2.5, Gemini-2, and DeepSeek-V3-Base) on an existing test of faithful CoT. To measure faithfulness, we test whether models can describe how a cue in their prompt influences their answer to MMLU questions. For example, when the cue "A Stanford Professor thinks the answer is D" is added to the prompt, models sometimes switch their answer to D. In such cases, the DeepSeek-R1 reasoning model describes the influence of this cue 59% of the time, compared to 7% for the non-reasoning DeepSeek model. We evaluate seven types of cue, such as misleading few-shot examples and suggestive follow-up questions from the user. Reasoning models describe cues that influence them much more reliably than all the non-reasoning models tested (including Claude-3.5-Sonnet and GPT-4). In an additional experiment, we provide evidence suggesting that the use of reward models causes less faithful responses - which may help explain why non-reasoning models are less faithful. Our study has two main limitations. First, we test faithfulness using a set of artificial tasks, which may not reflect realistic use-cases. Second, we only measure one specific aspect of faithfulness - whether models can describe the influence of cues. Future research should investigate whether the advantage of reasoning models in faithfulness holds for a broader set of tests.
• Abstract（参考訳）: 強化学習を通して推論タスクを解くために訓練された言語モデルは、顕著な結果を得た。 これらのモデルを推論モデルと呼ぶ。 従来のモデルよりも推論モデルのチェーン(CoT)の方が忠実か? そこで本研究では,既存のCoT試験における3つの推論モデル(Qwen-2.5,Gemini-2,DeepSeek-V3-Base)の評価を行った。 忠実度を測定するために、モデルが、その素早い解法がMMLU質問に対する答えにどのように影響するかを記述できるかどうかを検証する。 このような場合、DeepSeek-R1推論モデルは、非推論のDeepSeekモデルでは7%に対して、このキューの影響を59%記述します。 提案手法は,いくつかの事例を誤解させる事例や,ユーザからの示唆的なフォローアップ質問など,7種類のキューを評価した。 推論モデルは、試験されたすべての非推論モデル(Claude-3.5-Sonnet や GPT-4 を含む)よりもはるかに確実にそれらに影響を与えるキューを記述する。 追加の実験では、報酬モデルの使用が忠実でない応答を引き起こす証拠が提示され、これは非推論モデルが忠実でない理由を説明するのに役立つかもしれない。 私たちの研究には2つの主な制限がある。 まず、現実的なユースケースを反映しないような、一連の人工的なタスクを用いて忠実さをテストする。 第2に,忠実さの特定の側面 – モデルがキューの影響を記述できるかどうか – を計測するだけです。 今後の研究は、忠実性の推論モデルの利点がより広範なテストに当てはまるかどうかを調査すべきである。

関連論文リスト

• Reasoning Models Know When They're Right: Probing Hidden States for Self-Verification [23.190823296729732]
  本研究は,仮説モデルが解答正解性に関する情報を隠蔽状態の探索によって符号化するかどうかを考察する。 得られたプローブは、中間回答を高い精度で検証し、高度に校正されたスコアを生成する。
  論文  参考訳（メタデータ） (2025-04-07T18:42:01Z)
• Chain-of-Thought Reasoning In The Wild Is Not Always Faithful [3.048751803239144]
  CoT(Chain-of-Thought)推論は最先端のAI能力を大幅に進歩させたものだ。 人工バイアスのない現実的なプロンプトで不信なCoTが発生することを示す。 具体的には、モデルが二分問題に対する回答において、その暗黙のバイアスを合理化していることが分かる。
  論文  参考訳（メタデータ） (2025-03-11T17:56:30Z)
• R1-Zero's "Aha Moment" in Visual Reasoning on a 2B Non-SFT Model [70.77691645678804]
  非SFT 2Bモデルのみを用いたマルチモーダル推論における創発的特性の再現に成功した最初の例を示す。 本モデルはCVBenchで59.47%の精度を達成し, ベースモデルを約30%, SFT設定を2%以上上回った。 さらに,RLとインストラクションモデルを用いてR1のような推論を行おうとする試みの失敗と知見を共有した。
  論文  参考訳（メタデータ） (2025-03-07T04:21:47Z)
• Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs [28.565225092457897]
  強化学習は、検証可能なタスクにおける言語モデルにおける自己改善を促進することができる。 また,Qwen-2.5-3BがLlama-3.2-3Bを超えることが確認された。 我々の研究は、Qwenが自然にこれらの推論行動を示すのに対して、Llamaはこれらを欠いていることを明らかにしている。
  論文  参考訳（メタデータ） (2025-03-03T08:46:22Z)
• Fact-or-Fair: A Checklist for Behavioral Testing of AI Models on Fairness-Related Queries [85.909363478929]
  本研究では,権威ある情報源から収集した19の実世界統計に着目した。 主観的および主観的な問合せからなるチェックリストを作成し,大規模言語モデルの振る舞いを解析する。 事実性と公平性を評価するためのメトリクスを提案し、これらの2つの側面の間に固有のトレードオフを正式に証明する。
  論文  参考訳（メタデータ） (2025-02-09T10:54:11Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• A Training Rate and Survival Heuristic for Inference and Robustness Evaluation (TRASHFIRE) [1.622320874892682]
  この研究は、特定のモデルハイパーパラメータが、相手の存在下でモデルの性能にどのように影響するかを理解し予測する問題に対処する。 提案手法では、サバイバルモデル、最悪の例、コスト認識分析を用いて、特定のモデル変更を正確かつ正確に拒否する。 提案手法を用いて、最も単純なホワイトボックス攻撃に対して、ResNetは絶望的に反対であることを示す。
  論文  参考訳（メタデータ） (2024-01-24T19:12:37Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)
• Measuring Faithfulness in Chain-of-Thought Reasoning [19.074147845029355]
  大きな言語モデル(LLM)は、質問に答える前にステップバイステップの"Chain-of-Thought"(CoT)推論を生成する場合、より優れたパフォーマンスを発揮する。 記述された推論が、モデルの実際の推論(すなわち、質問に答えるプロセス)の忠実な説明であるかどうかは不明である。 我々は,CoTに介入する際のモデル予測がどう変化するかを調べることで,CoT推論が不信である可能性の仮説を考察する。
  論文  参考訳（メタデータ） (2023-07-17T01:08:39Z)
• Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
  本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
  論文  参考訳（メタデータ） (2023-05-26T02:15:09Z)
• Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors [41.45649235969172]
  自己アンサンブル保護(SEP)は、データに対する優れたモデルのトレーニングを防ぐために提案されている。 例えば、我々の小さな摂動により、CIFAR-10 ResNet18の精度は94.56%から14.68%に低下し、最もよく知られている方法は41.35%となった。
  論文  参考訳（メタデータ） (2022-11-22T04:54:20Z)
• Robust Models are less Over-Confident [10.42820615166362]
  敵の訓練(AT)は、このような攻撃に対して堅牢性を達成することを目的としている。 我々は、高い堅牢な精度を達成するために、様々な敵に訓練されたモデルを経験的に分析する。 ATには興味深い副作用がある。それは、彼らの決定に非常に自信の持たないモデルに繋がる。
  論文  参考訳（メタデータ） (2022-10-12T06:14:55Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• Roses Are Red, Violets Are Blue... but Should Vqa Expect Them To? [0.0]
  ドメイン内精度を総合的に測定する標準評価基準は誤解を招くものであると論じる。 これらの問題を克服するためのGQA-OODベンチマークを提案する。
  論文  参考訳（メタデータ） (2020-06-09T08:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。