論文の概要: Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
- arxiv url: http://arxiv.org/abs/2607.18438v1
- Date: Mon, 20 Jul 2026 18:46:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.216956
- Title: Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
- Title（参考訳）: Relay-Bench:マルチドメインReasoning Chain上でのLCMの評価
- Abstract要約: Relay-Benchは不飽和で、総合的で、テキストのみのベンチマークである。
単一のプロンプトで異なるドメインからタスクの並べ替えを完了させるLLMの能力を測定する。
GPT-5.5(xHigh)は43.3%。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Introducing Relay-Bench, an unsaturated, holistic, text-only benchmark that measures LLMs' ability to complete an assortment of tasks from distinct domains in a single prompt. The leading model, GPT-5.5 (xHigh), scores 43.3%. The test set entirely consists of composite problems: groups of single-domain subproblems that are strung together into challenges that require reasoning across multiple domains in combination. Many of these problems then have layers of complexity added through prompt encoding and deliberate context bloat. Domains tested include visual reasoning, coding, math, information extraction (with a focus on web search), problem-solving, general knowledge, and data analysis. No restrictions are imposed outside of the model harness, and models are explicitly encouraged to leverage code-execution, web searches, and all available tools. All problems are composed of two to thirteen subproblems and do not require multi-modal input or output.
- Abstract（参考訳）: Relay-Benchは、単一のプロンプトで異なるドメインからタスクの並べ替えを完了させるLLMの能力を測定する、不飽和で全体的、テキストのみのベンチマークである。
GPT-5.5(xHigh)は43.3%。
単ドメインサブプロブレムの群は、複数のドメインにまたがる推論を必要とする課題にまとめられる。
これらの問題の多くは、プロンプトエンコーディングと意図的なコンテキスト肥大によって、複雑さの層を追加する。
テストされたドメインには、視覚的推論、コーディング、数学、情報抽出(Web検索に焦点をあてる)、問題解決、一般的な知識、データ分析が含まれる。
モデルハーネス以外の制限は課されず、モデルは明示的にコード実行、Web検索、および利用可能なすべてのツールを活用するように推奨されている。
すべての問題は2から13のサブプロブレムで構成され、マルチモーダル入力や出力を必要としない。
関連論文リスト
- M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering [16.14696376349009]
M$3$-VQA は知識に基づく Visual Question Answering (VQA) ベンチマークである。
視覚的およびテキスト的ソースから複数の異なるエンティティを含む多様な多義性質問を導入する。
複数のドキュメントにわたるシーケンシャルなマルチホップ推論と並列なマルチホップ推論の両方を実行するモデルが必要です。
論文 参考訳（メタデータ） (2026-04-28T01:57:22Z) - Masking in Multi-hop QA: An Analysis of How Language Models Perform with Context Permutation [56.69064935192318]
MHQA(Multi-hop Question Answering)は、質問に答えるために複雑なレイヤを追加し、より難しいものにします。
本稿では,様々な構成で検索結果(検索文書)を置換することで,言語モデルがマルチホップ質問にどう反応するかを考察する。
論文 参考訳（メタデータ） (2025-05-16T23:29:47Z) - Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [92.5712549836791]
マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。
マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
論文 参考訳（メタデータ） (2024-11-05T09:27:21Z) - MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。
ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。
3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-07-18T00:58:41Z) - Navigating the Labyrinth: Evaluating LLMs' Ability to Reason About Search Problems [62.76627483915117]
大規模言語モデル(LLM)は、最近、数学と推論ベンチマークで印象的なパフォーマンスを達成した。
直感的なパズルにインスパイアされた11のユニークな検索問題を含む新しいベンチマークであるSearchBenchを紹介した。
ステップバイステップで言語のみの推論を用いることで、最も先進的なLLMでさえ、SearchBenchの解決に失敗することを示します。
論文 参考訳（メタデータ） (2024-06-18T00:44:58Z) - Evaluating LLMs with Multiple Problems at once [9.173325772800341]
本稿では,複数の問題を同時に抱えたLLMの評価のメリットと実効性を示す。
我々はZeMPE(Zero-shot Multi-Problem Evaluation)と呼ばれる新しいベンチマークを導入する。
以上の結果から,LCMは単一データソースから複数の問題を処理できるだけでなく,個別に処理できるが,複数の問題処理能力に乏しい条件が存在することがわかった。
論文 参考訳（メタデータ） (2024-06-16T02:52:32Z) - FCoReBench: Can Large Language Models Solve Challenging First-Order Combinatorial Reasoning Problems? [25.352721856952655]
一階推論問題は、様々なサイズの無限個の問題インスタンスでインスタンス化することができる。
課題40のデータセットであるFCoReBenchと,さまざまなサイズの問題インスタンスを生成し,そのソリューションを自動検証して生成するスクリプトを提案する。
本稿では,LLMとシンボルソルバとプログラムインタプリタを組み合わせたSymPro-LMを提案する。
論文 参考訳（メタデータ） (2024-02-04T20:56:09Z) - AGIBench: A Multi-granularity, Multimodal, Human-referenced,
Auto-scoring Benchmark for Large Language Models [3.518832148294879]
ChatGPTのような大規模言語モデルの問題解決能力を評価する方法はホットスポットだが難しい問題だ。
本稿では,LLMのマルチグラニュラ性,マルチモーダル,ヒューマン参照,オートスコーリングのベンチマーク手法であるAGIBenchを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:43:37Z) - Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。
これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。
実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
論文 参考訳（メタデータ） (2023-05-29T23:24:14Z) - Successive Prompting for Decomposing Complex Questions [50.00659445976735]
最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。
そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。
我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
論文 参考訳（メタデータ） (2022-12-08T06:03:38Z) - OLGA : An Ontology and LSTM-based approach for generating Arithmetic
Word Problems (AWPs) of transfer type [0.0]
算術語問題(AWP)の機械生成は,量や数学的関係を表現する上で困難である。
本稿では,TC型の一貫した単語問題を生成するシステムOLGAを提案する。
我々は以前提案したTC-Ontologyの拡張を用いて問題の整合性を決定する。
論文 参考訳（メタデータ） (2022-11-22T10:42:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。