論文の概要: RMIT-ADM+S at TREC RAG 2026: Research Agents, Retriever Ablations, and Open-Weight Replication
- arxiv url: http://arxiv.org/abs/2611.16425v1
- Date: Thu, 12 Nov 2026 07:34:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.391256
- Title: RMIT-ADM+S at TREC RAG 2026: Research Agents, Retriever Ablations, and Open-Weight Replication
- Title(参考訳): RMIT-ADM+S at TREC RAG 2026: Research Agents, Retriever Ablations, and Open-Weight Replications
- Abstract要約: ClimbMix corpus を用いた TREC 2026 Retrieval-Augmented Generation (RAG) トラックへの RMIT-ADM+S チームの参加について述べる。
プロプライエタリなOpenAIとオープンウェイトモデルを用いた7つのリサーチエージェント実行を提出した。
オープンウェイトなowa-glm5は自動カバレッジが低いにもかかわらずBatch 1をリードし、sol-research-firstはBatch 2をリードした。
- 参考スコア(独自算出の注目度): 7.0576893306803825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We describe the RMIT-ADM+S team's participation in the TREC 2026 Retrieval-Augmented Generation (RAG) track using the ClimbMix corpus. We submitted seven research-agent runs using proprietary OpenAI and open-weight models, exploring different retrieval strategies, writer models, and agent workflows. Pre-submission ablations identified writer selection and adjacent-chunk expansion as the main factors affecting answer quality. In the official NIST evaluation, six of seven runs exceeded the track median across all three rubric/nugget collections. Our best-performing run, brief-hybrid, achieved the highest all-item coverage among our submissions and tied the track maximum (0.892) for Batch-1 vital coverage. Human side-by-side preferences differed across evaluation batches: the open-weight owa-glm5 led Batch 1 despite lower automated coverage, while sol-research-first led Batch 2. These findings highlight differences between automated coverage measures and human preferences, as well as the potential of lower-cost open-weight models for research-agent systems.
- Abstract(参考訳): ClimbMix corpus を用いた TREC 2026 Retrieval-Augmented Generation (RAG) トラックへの RMIT-ADM+S チームの参加について述べる。
プロプライエタリなOpenAIとオープンウェイトモデルを使用して7つのリサーチエージェントを実行し、異なる検索戦略、ライターモデル、エージェントワークフローを探索した。
著者選択と隣接するチャンク拡大が回答品質に影響を及ぼす主な要因であると考えられた。
公式なNIST評価では、7本中6本が3つのルーリック/ナゲットコレクションの中央値を上回った。
ベストパフォーマンスのショートハイブリドは、私たちの応募の中で最高のオールイテムカバレッジを獲得し、Batch-1バイタルカバレッジのトラック最大値(0.892)を結び付けました。
オープンウェイトなowa-glm5は自動カバレッジが低いにもかかわらずBatch 1をリードし、sol-research-firstはBatch 2をリードした。
これらの知見は、自動カバレッジ尺度と人間の嗜好の相違と、研究エージェントシステムにおける低コストなオープンウェイトモデルの可能性を強調した。
関連論文リスト
- Dual Exam: Controlled Evaluation of Multimodal Agents and World Models [183.81513687551828]
本稿では, エージェントを固定環境応答機構下で, エージェントを固定行動介入下で, ワールドモデルでテストするDual Examを紹介する。
エージェントトラックは15のレポートカテゴリで1,088項目の10構成を比較している。
World Modelのトラックには8つのシナリオにわたる400のケースが含まれている。
論文 参考訳(メタデータ) (2026-10-22T10:44:35Z) - Agentic AutoRAG: RAG Pipeline Optimization through Reasoning-Driven Agents [1.0112913394578702]
Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)を外部知識でグラウンド化するための広く使われているアプローチである。
本稿では,多目的最適化のためのLLMエージェントであるAgentic AutoRAGを紹介する。
各試験の後、ダイアグノーサーは、失敗した各質問を検索または生成に属性付け、モデルランキングと価格の知識ベースに基づくプロポーラが次の設定を選択する。
論文 参考訳(メタデータ) (2026-10-06T14:38:15Z) - Novelty-Aware Agentic Retrieval: Comparing Research Contributions Through Structured Multi-Step Reasoning [0.0]
ノベルティ・アウェア・リサーチ・エージェント(英: Novelty-Aware Research Agent)は、エージェント検索システムのプロトタイプである。
RAGパイプライン上の多段階推論を6つのタイプドコントラクトコンポーネントを通じて階層化する。
論文毎のコントリビューション記録、紙レベルのオーバーラップ、問題xメソッドギャップマトリックスなど、構造化された比較アーティファクトを生成する。
論文 参考訳(メタデータ) (2026-06-20T17:04:02Z) - MM-Doc-R1: Training Agents for Long Document Visual Question Answering through Multi-turn Reinforcement Learning [74.07254720088926]
長文の視覚的質問応答に対処するために,エージェント型視覚認識ワークフローを利用する新しいフレームワークMM-Doc-R1を紹介する。
GRPOのような既存のマルチターン強化学習(RL)アルゴリズムにおけるベースライン推定バイアスに対処する、類似性に基づくポリシー最適化(SPO)を提案する。
MMLongbench-Docベンチマークの実験では、MM-Doc-R1が以前のベースラインを10.4%上回る結果となった。
論文 参考訳(メタデータ) (2026-04-15T07:39:08Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳(メタデータ) (2026-03-12T19:18:59Z) - Interact-RAG: Reason and Interact with the Corpus, Beyond Black-Box Retrieval [49.85856484781787]
本稿では,ILMエージェントを検索プロセスのアクティブマニピュレータに高める新しいパラダイムであるInteract-RAGを紹介する。
我々は、ゼロショット実行と相互作用軌跡の合成を可能にする推論強化ワークフローを開発する。
6つのベンチマーク実験により、Interact-RAGは他の高度な手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2025-10-31T15:48:43Z) - Pure Exploration under Mediators' Feedback [63.56002444692792]
マルチアームバンディット(Multi-armed bandits)は、各インタラクションステップにおいて、学習者が腕を選択し、報酬を観察する、シーケンシャルな意思決定フレームワークである。
本稿では,学習者が仲介者の集合にアクセスできるシナリオについて考察する。
本稿では,学習者には仲介者の方針が知られていると仮定して,最適な腕を発見するための逐次的意思決定戦略を提案する。
論文 参考訳(メタデータ) (2023-08-29T18:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。