論文の概要: Reasoning-Intensive Regression

• arxiv url: http://arxiv.org/abs/2508.21762v1
• Date: Fri, 29 Aug 2025 16:37:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:11.113898
• Title: Reasoning-Intensive Regression
• Title（参考訳）: Reasoning-Intensive Regression
• Authors: Diane Tchuindjo, Omar Khattab,
• Abstract要約: 推論集約回帰(RiR)は、標準言語の回帰タスクの代わりに使われることが多い。 本稿では,バッチ-反射的プロンプト最適化とニューラルアンサンブル学習を組み合わせた,シンプルで軽量な手法であるMENTATを提案する。 MenTATは両方のベースラインよりも最大で65%改善されているが、RiRの今後の進歩には十分なスペースが残っている。
• 参考スコア（独自算出の注目度）: 9.243820968905032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI researchers and practitioners increasingly apply large language models (LLMs) to what we call reasoning-intensive regression (RiR), i.e. deducing subtle numerical properties from text. Unlike standard language regression tasks, e.g. for sentiment or similarity, RiR often appears instead in ad-hoc problems like rubric-based scoring or domain-specific retrieval, where much deeper analysis of text is required while only limited task-specific training data and computation are available. We cast three realistic problems as RiR tasks to establish an initial benchmark, and use that to test our hypothesis that prompting frozen LLMs and finetuning Transformer encoders via gradient descent will both often struggle in RiR. We then propose MENTAT, a simple and lightweight method that combines batch-reflective prompt optimization with neural ensemble learning. MENTAT achieves up to 65% improvement over both baselines, though substantial room remains for future advances in RiR.
• Abstract（参考訳）: AI研究者や実践者は、より大規模な言語モデル(LLM)を、推論集約回帰(RiR)と呼ばれるものに適用し、テキストから微妙な数値特性を導出する。 感情や類似性などの標準的な言語回帰タスクとは異なり、RiRは代わりにルーブリックベースのスコアリングやドメイン固有の検索のようなアドホックな問題に現れる。 我々は、初期ベンチマークを確立するために3つの現実的な問題をRiRタスクとして実行し、それを凍結LDMと勾配降下による微調整トランスフォーマーエンコーダがRiRでしばしば苦労する、という仮説の検証に利用した。 次に、バッチ-反射的プロンプト最適化とニューラルアンサンブル学習を組み合わせた、シンプルで軽量な手法であるMENTATを提案する。 MENTATは両方のベースラインに対して最大65%の改善が達成されているが、RiRの今後の進歩には十分なスペースが残っている。

関連論文リスト

• Scaling Textual Gradients via Sampling-Based Momentum [59.94928977345951]
  Textual Gradient Descent (TGD)フレームワークは、有望なデータ駆動アプローチとして登場した。 トレーニングサンプルの数をスケールすることで結果が改善されるが、後にTGDのパフォーマンスが低下する。 本稿では,テキスト・グラディエント・ Descent with Momentum (TSGD-M) を提案する。
  論文  参考訳（メタデータ） (2025-05-31T05:35:45Z)
• Effective Inference-Free Retrieval for Learned Sparse Representations [19.54810957623511]
  Learned Sparse Retrieval (LSR)は、学習された単語の袋にテキストをエンコードするために訓練済みの言語モデルを利用する効果的なIRアプローチである。 近年,新たな効率的な逆インデックスベース検索エンジンが提案されており,LSRモデルのトレーニングにおいて正規化の役割が変化したのか,という自然な疑問が投げかけられている。 より効率的なLSRエンコーダを生成するために、正規化を緩和できることが示される。
  論文  参考訳（メタデータ） (2025-04-30T09:10:46Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• MaFeRw: Query Rewriting with Multi-Aspect Feedbacks for Retrieval-Augmented Large Language Models [22.50450558103786]
  現実世界のRAGシステムでは、現在のクエリは会話コンテキストからの音声楕円とあいまいな参照を含むことが多い。 本稿では,検索プロセスと生成結果の両方からマルチアスペクトフィードバックを統合することにより,RAG性能を向上させる新しいクエリ書き換え手法MaFeRwを提案する。 2つの対話型RAGデータセットの実験結果から、MaFeRwはベースラインよりも優れた生成指標と安定したトレーニングを達成できることが示された。
  論文  参考訳（メタデータ） (2024-08-30T07:57:30Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• Solving Offline Reinforcement Learning with Decision Tree Regression [0.0]
  本研究は, オフライン強化学習問題に対して, 回帰タスクとして再検討することで, 新たなアプローチを提案する。 我々は、リターン条件付きとリターン重み付き決定ツリーポリシーの2つの異なるフレームワークを紹介します。 オフラインRLに対するこの改定されたアプローチに固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T23:50:46Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。