論文の概要: Qwen2.5-32B: Leveraging Self-Consistent Tool-Integrated Reasoning for Bengali Mathematical Olympiad Problem Solving

• arxiv url: http://arxiv.org/abs/2411.05934v1
• Date: Fri, 08 Nov 2024 19:44:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:10:01.863253
• Title: Qwen2.5-32B: Leveraging Self-Consistent Tool-Integrated Reasoning for Bengali Mathematical Olympiad Problem Solving
• Title（参考訳）: Qwen2.5-32B: ベンガル数学オリンピック問題の解法における自己整合型推論の活用
• Authors: Saad Tahmid, Sourav Sarker,
• Abstract要約: 本稿では, DL Sprint 3.0 BUET CSE Fest 2024 コンペティションのために開発されたベンガルにおける数学的問題を解決する革新的なアプローチを提案する。 提案手法では,先進的なディープラーニングモデル,特にQwen 2.5シリーズを用いて,迅速なエンジニアリングによる改良を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present an innovative approach for solving mathematical problems in Bengali, developed for the DL Sprint 3.0 BUET CSE Fest 2024 Competition. Our method uses advanced deep learning models, notably the Qwen 2.5 series, with improvements made through prompt engineering, model quantization, and Tool Integrated Reasoning (TIR) to handle complex calculations. Initially, we explored various model architectures, including fine-tuned Mistral and quantized Qwen models, refining them with translation techniques, Retrieval-Augmented Generation (RAG), and custom dataset curation. Manual hyperparameter tuning optimized parameters like temperature and top-p to enhance model adaptability and accuracy. Removal of RAG and parameter adjustments further improved robustness. Our approach highlights the potential of advanced NLP techniques in solving Bengali mathematical problems.
• Abstract（参考訳）: 本稿では, DL Sprint 3.0 BUET CSE Fest 2024 コンペティションのために開発されたベンガルにおける数学的問題を解決する革新的なアプローチを提案する。 我々の手法は高度なディープラーニングモデル、特にQwen 2.5シリーズを使用し、複雑な計算を扱うために、迅速なエンジニアリング、モデル量子化、ツール統合推論(TIR)によって改善されている。 当初我々は、微調整されたMistralと量子化されたQwenモデル、翻訳技術、レトリーバル拡張生成(RAG)、カスタムデータセットキュレーションなど、さまざまなモデルアーキテクチャについて検討した。 手動のハイパーパラメータチューニングは、モデル適応性と精度を高めるために、温度やトップpなどのパラメータを最適化する。 RAGの除去とパラメータ調整によりロバスト性はさらに向上した。 本手法はベンガル数学問題の解法における高度なNLP手法の可能性を明らかにするものである。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Compact Multi-Threshold Quantum Information Driven Ansatz For Strongly Interactive Lattice Spin Models [0.0]
  近似量子相互情報(QMI)に基づくアンザッツ建築の体系的手順を提案する。 提案手法は,QMI値に基づいて各層の量子ビット対が選択される層状アンサッツを生成し,より効率的な状態生成と最適化ルーチンを実現する。 その結果,Multi-QIDA法は高い精度を維持しながら計算複雑性を低減し,格子スピンモデルにおける量子シミュレーションに有望なツールであることがわかった。
  論文  参考訳（メタデータ） (2024-08-05T17:07:08Z)
• Quantum-Inspired Mean Field Probabilistic Model for Combinatorial Optimization Problems [15.435730759218776]
  擬似非制約二項最適化問題の解を近似する新しい量子インスパイア平均場(QIMF)確率モデルを開発した。 実験により,ポートフォリオ選択,重み付きマックスカット問題,イジングモデルといった大規模問題に対するソリューション評価の大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-06-01T01:53:11Z)
• Refining Joint Text and Source Code Embeddings for Retrieval Task with Parameter-Efficient Fine-Tuning [0.0]
  そこで本研究では,それを利用した微調整フレームワークを提案する。 PEFT(Efficient Fine-Tuning)技術。 提案する微調整フレームワークは,最大で0.4%のパラメータをチューニングすることで,コードテキスト検索性能を向上させる可能性を実証した。
  論文  参考訳（メタデータ） (2024-05-07T08:50:25Z)
• Joint Parameter and Parameterization Inference with Uncertainty Quantification through Differentiable Programming [0.20530463088872453]
  本研究では,物理パラメータと不確実な定量化を伴う機械学習パラメータ化を共同で推定するための新しいフレームワークを提案する。 本フレームワークは,高次元パラメータ空間内でのオンライン学習と効率的なベイズ推論を,微分可能プログラミングにより促進する。
  論文  参考訳（メタデータ） (2024-03-04T17:02:23Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Machine Learning Framework for Quantum Sampling of Highly-Constrained, Continuous Optimization Problems [101.18253437732933]
  本研究では,連続空間の逆設計問題を,制約のないバイナリ最適化問題にマッピングする,汎用的な機械学習ベースのフレームワークを開発する。 本研究では, 熱発光トポロジを熱光応用に最適化し, (ii) 高効率ビームステアリングのための拡散メタグレーティングを行うことにより, 2つの逆設計問題に対するフレームワークの性能を示す。
  論文  参考訳（メタデータ） (2021-05-06T02:22:23Z)
• Gradient-free quantum optimization on NISQ devices [0.0]
  重み依存学習の最近の進歩を考察し、適切な回路アーキテクチャとパラメータチューニングのトレードオフに対処する戦略を提案する。 遺伝的競合を介して回路を評価するNEATに基づくアルゴリズムの使用を検討し、パラメータ数を超えることにより問題を回避します。
  論文  参考訳（メタデータ） (2020-12-23T10:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。