論文の概要: PORT: Preference Optimization on Reasoning Traces

• arxiv url: http://arxiv.org/abs/2406.16061v1
• Date: Sun, 23 Jun 2024 09:51:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:13:57.671563
• Title: PORT: Preference Optimization on Reasoning Traces
• Title（参考訳）: Port: トレースの推論に関する優先度最適化
• Authors: Salem Lahlou, Abdalgader Abubaker, Hakim Hacid,
• Abstract要約: 本稿では,言語モデルの推論性能を改善するために,Chain-of-Thoughtステップの優先最適化手法を提案する。 提案手法により,Falcon2-11B と Mistral-7B の GSM8K, AQuA-RAT, ARC ベンチマークの精度が向上する。
• 参考スコア（独自算出の注目度）: 1.7292887546437081
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference optimization methods have been successfully applied to improve not only the alignment of large language models (LLMs) with human values, but also specific natural language tasks such as summarization and stylistic continuations. This paper proposes using preference optimization methods on Chain-of-Thought steps in order to improve the reasoning performances of language models. While the chosen answers are obtained from datasets that include reasoning traces, we propose two complementary schemes for generating rejected answers: digit corruption, and weak LLM prompting. Our approach leads to increased accuracy on the GSM8K, AQuA-RAT, and ARC benchmarks for Falcon2-11B and Mistral-7B. For example, the approach can lead to up to a relative 8.47% increase in accuracy on the GSM8K benchmark without any extra annotations. This work suggests that spending resources on creating more datasets of reasoning traces would further boost LLM performances on informal reasoning tasks.
• Abstract（参考訳）: 提案手法は,人間の値と大規模言語モデル(LLM)のアライメントを改善するだけでなく,要約やスタイリスティックな継続といった特定の自然言語タスクの改善にも有効である。 本稿では,言語モデルの推論性能を改善するために,Chain-of-Thoughtステップの優先最適化手法を提案する。 選択された回答は、推論トレースを含むデータセットから得られるが、デジタイズと弱いLLMプロンプトという2つの補完的手法を提案する。 提案手法は,Falcon2-11BとMistral-7BのGSM8K,AQuA-RAT,ARCベンチマークの精度向上につながる。 例えば、このアプローチは、追加のアノテーションなしでGSM8Kベンチマークの精度が8.47%向上する可能性がある。 この研究は、推論トレースのデータセット作成にリソースを費やすことで、非公式な推論タスクにおけるLLMのパフォーマンスがさらに向上することを示唆している。

関連論文リスト

• Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding [74.31981011985681]
  大きな言語モデル(LLM)は印象的な機能を示しているが、それでも複数のステップを必要とする複雑な推論タスクに苦戦している。 LaTRO(LaTent Reasoning Optimization)は、潜在分布からのサンプリングとして推論を定式化するためのフレームワークである。 複数のモデルアーキテクチャを用いて、GSM8KおよびARC-Challengeデータセットの実験を通してLaTROを検証する。
  論文  参考訳（メタデータ） (2024-11-06T22:02:30Z)
• Advancing Process Verification for Large Language Models via Tree-Based Preference Learning [23.63889344974957]
  Tree-based Preference Learning Verifier (Tree-PLV) は、最優先探索アルゴリズムを用いて推論木を構築し、優先訓練のためにステップレベルのペアデータを収集する新しいアプローチである。 我々は,木-PLVを算術的および常識的推論タスクの範囲で実証的に評価し,既存のベンチマークを著しく上回る結果を得た。
  論文  参考訳（メタデータ） (2024-06-29T10:09:49Z)
• Step-level Value Preference Optimization for Mathematical Reasoning [6.318873143509028]
  SVPO(Step-level Value Preference Optimization)と呼ばれる新しいアルゴリズムを導入する。 提案手法は,領域内および領域外両方の数学的推論ベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-16T09:06:17Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)
• Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
  大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。 提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-18T03:34:59Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。