Fugu-MT 論文翻訳(概要): Do GFlowNets Transfer? Case Study on the Game of 24/42

論文の概要: Do GFlowNets Transfer? Case Study on the Game of 24/42

arxiv url: http://arxiv.org/abs/2503.01819v1
Date: Mon, 03 Mar 2025 18:43:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 19:25:10.016673
Title: Do GFlowNets Transfer? Case Study on the Game of 24/42
Title（参考訳）: GFlowNets転送は可能か? : 24/42試合を事例として
Authors: Adesh Gupta, Abhinav Kumar, Mansi Gupta, Paras Chopra,
Abstract要約: GFlowNetsは、ソリューション生成をフローネットワークとして最適化し、より多様性を約束する。ケーススタディでは、Game of 24で制限されたゼロショット転送可能性を示し、Game of 42データセットでテストしている。
参考スコア（独自算出の注目度）: 3.1245035166494906
License:
Abstract: Generating diverse solutions is key to human-like reasoning, yet autoregressive language models focus on single accurate responses, limiting creativity. GFlowNets optimize solution generation as a flow network, promising greater diversity. Our case study shows their limited zero-shot transferability by fine-tuning small and medium-sized large language models on the Game of 24 and testing them on the Game of 42 datasets. Results revealed that GFlowNets struggle to maintain solution diversity and accuracy, highlighting key limitations in their cross-task generalization and the need for future research in improved transfer learning capabilities.
Abstract（参考訳）: 多様なソリューションを生成することは、人間のような推論の鍵であるが、自動回帰言語モデルは、創造性を制限する単一の正確な応答に焦点を当てている。 GFlowNetsは、ソリューション生成をフローネットワークとして最適化し、より多様性を約束する。ケーススタディでは,Game of 24で小型・中型大言語モデルを微調整し,Game of 42データセットでテストすることで,ゼロショット転送性に制限があることを示した。その結果、GFlowNetsはソリューションの多様性と正確性を維持するのに苦労していることが判明した。

関連論文リスト

GFlowNet Fine-tuning for Diverse Correct Solutions in Mathematical Reasoning Tasks [0.10713888959520208]
生成フローネットワーク(GFlowNet)を用いて大規模言語モデル(LLM)を訓練する。 GFlowNetファインチューニングは、報酬関数に比例した分布を持つLLMをトレーニングすることで、多様な解を求める。その結果、GFlowNetの微調整は、様々な中間的推論ステップから最終的な答えを導き出すことがわかった。
論文参考訳（メタデータ） (2024-10-26T11:13:33Z)
Beyond Accuracy Optimization: Computer Vision Losses for Large Language Model Fine-Tuning [9.507070656654632]
大きな言語モデル(LLM)は、様々なタスクで素晴らしいパフォーマンスを示しています。現在のトレーニングアプローチでは、標準的なクロスエントロピー損失と、広範なデータ、人間のフィードバック、あるいはパフォーマンス向上のためのアドホックメソッドを組み合わせる。本研究では,自然言語生成におけるセマンティックセグメンテーションの損失関数を用いた,汎用的で実用的でスケーラブルなソリューションの構築について検討する。
論文参考訳（メタデータ） (2024-09-20T16:46:17Z)
Flow of Reasoning:Training LLMs for Divergent Problem Solving with Minimal Examples [12.48027669682156]
Flow of Reasoning (FoR)は、最小限のデータで推論の品質と多様性を改善することを目的としている。 FoR は DAG 構造推論グラフ上のマルコフフローとして多段階 LLM 推論を定式化する。実験によると、限られたトレーニング例で、FoRは多様な創造的で高品質なソリューションの発見を可能にする。
論文参考訳（メタデータ） (2024-06-09T07:06:58Z)
Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文参考訳（メタデータ） (2024-02-27T14:16:19Z)
Tree of Thoughts: Deliberate Problem Solving with Large Language Models [52.31950122881687]
言語モデル推論のための新しいフレームワーク、Tree of Thoughts (ToT)を紹介します。 ToTは、言語モデルを促進するために人気のChain of Thoughtアプローチを一般化する。実験の結果,ToTは言語モデルの問題解決能力を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2023-05-17T23:16:17Z)
POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
論文参考訳（メタデータ） (2023-04-29T22:05:22Z)
A theory of continuous generative flow networks [104.93913776866195]
生成フローネットワーク(Generative Flow Networks, GFlowNets)は、非正規化されたターゲット分布からサンプルを抽出するように訓練されたアモータイズされた変分推論アルゴリズムである。本稿では、既存の離散GFlowNetと、連続的あるいはハイブリッドな状態空間を持つGFlowNetを包含する一般化GFlowNetの理論を提案する。
論文参考訳（メタデータ） (2023-01-30T00:37:56Z)
GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文参考訳（メタデータ） (2022-10-24T03:00:01Z)
Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。 Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文参考訳（メタデータ） (2022-07-15T11:39:37Z)
SURFNet: Super-resolution of Turbulent Flows with Transfer Learning using Small Datasets [0.9297355862757838]
本稿では,転写学習に基づく超解像流ネットワークであるSURFNetを紹介する。 SURFNetは主に低解像度データセット上でDLモデルをトレーニングし、転送は少数の高解像度フロー問題でモデルを学習する。粗いモデルよりも最大256倍の入力解像度で乱流状態におけるナビエ・ストークス方程式を解くことにより、SURFNetの性能を実証的に評価する。
論文参考訳（メタデータ） (2021-08-17T14:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。