論文の概要: AUEB-Archimedes at RIRAG-2025: Is obligation concatenation really all you need?
- arxiv url: http://arxiv.org/abs/2412.11567v1
- Date: Mon, 16 Dec 2024 08:54:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 15:50:00.281776
- Title: AUEB-Archimedes at RIRAG-2025: Is obligation concatenation really all you need?
- Title(参考訳): RIRAG-2025のAUEB-Archimedes: 義務は本当に必要なものなのでしょうか?
- Abstract要約: 本稿では,RIRAG-2025のために開発したシステムについて述べる。
生成された回答は、参照フリーでモデルベースのメトリクスであるRePASを用いて評価される。
抽出された節から重要な文(「無視」)を抽出するRePASの神経成分を利用することで、精度の高いスコア(0.947)が得られることを示す。
そして、いくつかの代替案の中で最も優れたRePASで答えを選択することで、より可読で比較的高い結果が得られる可読で一貫性のある回答を生成することができることを示す。
- 参考スコア(独自算出の注目度): 11.172264842171682
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents the systems we developed for RIRAG-2025, a shared task that requires answering regulatory questions by retrieving relevant passages. The generated answers are evaluated using RePASs, a reference-free and model-based metric. Our systems use a combination of three retrieval models and a reranker. We show that by exploiting a neural component of RePASs that extracts important sentences ('obligations') from the retrieved passages, we achieve a dubiously high score (0.947), even though the answers are directly extracted from the retrieved passages and are not actually generated answers. We then show that by selecting the answer with the best RePASs among a few generated alternatives and then iteratively refining this answer by reducing contradictions and covering more obligations, we can generate readable, coherent answers that achieve a more plausible and relatively high score (0.639).
- Abstract(参考訳): 本稿では,RIRAG-2025のために開発したシステムについて述べる。
生成された回答は、参照フリーでモデルベースのメトリクスであるRePASを用いて評価される。
我々のシステムは3つの検索モデルとリランカの組み合わせを使用している。
抽出された文から重要な文(「無視」)を抽出するRePASの神経成分を利用することで,検索された文から直接抽出された結果が実際に生成されていないにもかかわらず,精度の高いスコア(0.947)が得られることを示す。
次に、いくつかの生成した選択肢の中で最高のRePASで回答を選択し、矛盾を減らし、より多くの義務を負うことで、繰り返しこの答えを精査することにより、より可読で、比較的高いスコア(0.639)を得ることのできる、読みやすい、一貫性のある回答を生成することができることを示す。
関連論文リスト
- MARQUIS: A Three-Stage Pipeline for Video Retrieval-Augmented Generation [64.33427079838602]
ビデオからの検索強化生成は、大規模なコーパスから関連するオーディオ視覚的証拠を検索し、一貫性のある属性付きテキストに合成するシステムを必要とする。
MARQUIS:クエリ拡張、融合、再ランク付けを通じて、これらの制限に対処する3段階のパイプライン。
記事生成において、ITER-QA-BASEはCAGベースライン平均スコアを3.09から3.83に改善し、MARQUIS-RLMは3.30の人間スコアと非QAシステムの中で最も強い引用リコールを達成する。
論文 参考訳(メタデータ) (2026-05-17T20:19:04Z) - Verbal-R3: Verbal Reranker as the Missing Bridge between Retrieval and Reasoning [48.15732775780642]
本稿では,検索結果と大言語モデルの推論能力をVerbal sを介して橋渡しする手法を提案する。
本稿では,ジェネレータとバーバルリランカを組み合わせた新しいエージェントRAGフレームワークであるVerbal-R3を紹介する。
Verbal-R3は、複雑な質問応答ベンチマークで最先端のパフォーマンスを実現し、提案したフレームワークの有効性を検証する。
論文 参考訳(メタデータ) (2026-05-02T11:43:23Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳(メタデータ) (2026-03-12T19:18:59Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳(メタデータ) (2026-03-09T18:20:20Z) - Question Decomposition for Retrieval-Augmented Generation [2.6409776648054764]
本稿では疑問分解をサブクエストに組み込んだRAGパイプラインを提案する。
補間的な文書を効果的に組み立てる一方で、再ランク付けによってノイズが減少することを示す。
再ランク自体は標準的なものであるが、LLMによる質問分解と既製のクロスエンコーダのペアリングは、マルチホップ質問の検索ギャップを橋渡しすることを示す。
論文 参考訳(メタデータ) (2025-07-01T01:01:54Z) - Finding Needles in Emb(a)dding Haystacks: Legal Document Retrieval via Bagging and SVR Ensembles [51.0691253204425]
本稿では,サポートベクタ回帰アンサンブル,ブートストラップアグリゲーション(バッグ),およびドイツ法情報検索データベース(GerDaLIR)への埋め込み空間を利用した検索手法を提案する。
投票アンサンブルを用いてベースライン上のリコールの改善を示し、トレーニングやディープラーニングモデルを微調整することなく、有望な初期結果を提案する。
論文 参考訳(メタデータ) (2025-01-09T07:21:44Z) - Improving Generated and Retrieved Knowledge Combination Through Zero-shot Generation [41.43397783169612]
オープンドメイン質問回答(QA)は,大規模言語モデル(LLM)による忠実に検索されたパスと関連するパスを組み合わせることで,かなりの関心を集めている。
これらの知識の源と組み合わせるための明確なラベルが不足している。
本稿では,検索したパスとLLM生成したパスの両方に対して,再格付け手法を利用したBi-Re rank for Merging Generated and Retrieved Knowledge (BRMGR)を提案する。
論文 参考訳(メタデータ) (2024-12-25T06:40:36Z) - Evidence Contextualization and Counterfactual Attribution for Conversational QA over Heterogeneous Data with RAG Systems [4.143039012104666]
Retrieval Augmented Generation(RAG)は、会話質問回答(ConvQA)を介して企業のデータと対話するためのバックボーンとして機能する。
本研究では,RAGONITE(RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAAG,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAAG,RAGONITE ,RAGONITE,RAGONITE,RAGONITE,RAAG,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGO NITE)について述べる。
論文 参考訳(メタデータ) (2024-12-13T21:28:17Z) - Bridging Relevance and Reasoning: Rationale Distillation in Retrieval-Augmented Generation [43.50677378728461]
本稿では,Rationale DistillatiOnを用いた新規かつ実用的な嗜好アライメントフレームワークであるRADIOを提案する。
まず,Large Language Models (LLMs) の推論能力を活用して,問合せに要する有理を抽出する理性抽出手法を提案する。
その後、抽出された有理性に基づいて文書を再引用する合理性に基づくアライメントプロセスが設計され、その選好を調整するために再帰者を微調整する。
論文 参考訳(メタデータ) (2024-12-11T16:32:41Z) - RAG-based Question Answering over Heterogeneous Data and Text [23.075485587443485]
本稿では,非構造化テキスト,構造化テーブル,知識グラフに対する質問応答システムについて述べる。
システムはRAGベースのアーキテクチャを採用し、証拠検索のパイプラインと応答生成、そして後者は中程度の言語モデルによって駆動される。
3つの異なるベンチマークによる実験は、我々のアプローチの高い応答品質を示し、大きなGPTモデルと同等かそれ以上である。
論文 参考訳(メタデータ) (2024-12-10T11:18:29Z) - Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。
このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。
すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
論文 参考訳(メタデータ) (2024-10-20T22:59:34Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳(メタデータ) (2024-07-16T17:58:27Z) - SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。
SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。
様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
論文 参考訳(メタデータ) (2024-04-17T01:15:54Z) - Answering Unseen Questions With Smaller Language Models Using Rationale
Generation and Dense Retrieval [9.136948771060895]
この設定でさらに改善する2つの方法を評価する。
どちらも、より大きな言語モデルによって生成された合理性と、マルチホップ密度検索システムから生成された長いコンテキストを組み合わせることに焦点を当てている。
我々の最高の推論モデルは、見当たらない評価データセットに対して、強い比較前のベースラインを大幅に改善します。
論文 参考訳(メタデータ) (2023-08-09T05:06:39Z) - Adapting Neural Link Predictors for Data-Efficient Complex Query
Answering [45.961111441411084]
本稿では,複雑な問合せタスクに対して,ニューラルネットワーク予測スコアを再校正するために最適化されたパラメータ効率のスコア強調モデルを提案する。
CQD$mathcalA$は現在の最先端手法よりもはるかに正確な結果が得られる。
論文 参考訳(メタデータ) (2023-01-29T00:17:16Z) - Reranking Overgenerated Responses for End-to-End Task-Oriented Dialogue
Systems [71.33737787564966]
エンド・ツー・エンド(E2E)タスク指向対話システム(ToD)は、いわゆる「いいね!
本稿では,システムによって当初過剰に生成された応答リストから高品質な項目を選択する方法を提案する。
本研究では,最先端のE2E ToDシステムを2.4BLEU,3.2ROUGE,2.8 METEORで改善し,新たなピーク値を得た。
論文 参考訳(メタデータ) (2022-11-07T15:59:49Z) - Joint Passage Ranking for Diverse Multi-Answer Retrieval [56.43443577137929]
質問に対する複数の異なる回答をカバーするために、パスの取得を必要とする探索不足の問題であるマルチアンサー検索について検討する。
モデルが別の有効な答えを逃す費用で同じ答えを含む通路を繰り返すべきではないので、このタスクは、検索された通路の共同モデリングを必要とします。
本稿では,再順位に着目したジョイントパス検索モデルであるJPRを紹介する。
回収された通路の合同確率をモデル化するために、JPRは、新しい訓練および復号アルゴリズムを備えた通路のシーケンスを選択する自動回帰リタイナを利用する。
論文 参考訳(メタデータ) (2021-04-17T04:48:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。