論文の概要: Tool-calling retrieval versus vector RAG for a small Greek--English knowledge base: accuracy and robustness to how users type Greek
- arxiv url: http://arxiv.org/abs/2610.08205v1
- Date: Tue, 06 Oct 2026 11:58:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.967475
- Title: Tool-calling retrieval versus vector RAG for a small Greek--English knowledge base: accuracy and robustness to how users type Greek
- Title(参考訳): 小型ギリシャ語知識ベースにおけるツールコール検索とベクトルRAG--ギリシャ語の入力方法に対する精度と堅牢性-
- Abstract要約: ギリシャのキテラ(Kythera)にあるギリシャ系英語農業プラットフォームの公開記録から得られた198の質問のベンチマークである。
プラットフォームツールエージェントの再構築により、標準的なギリシャの質問の71.6%が正しく答えられ、ベクトルRAG 95.3%(差は$-23.6$%、95%CI $-33.1$から$-15.1$)となった。
非アクセントで大文字化されていない質問では、ツールエージェントが20点、ベクトルRAGが2点、アクセントに敏感な検索がこの損失を除去し、一致するステムドトークンがツールエージェントを上昇させた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Assistants grounded in a small, frequently edited knowledge base can retrieve through tool calls to a live data interface or through vector retrieval-augmented generation (RAG). We compare the two on KyGround, a benchmark of 198 questions drawn from the published records of a Greek--English agricultural platform on Kythera, Greece, with answers verified automatically against the records and each question posed in up to nine forms, including Greek without accents, in capitals and in three Latin-script (Greeklish) schemes. With Claude Haiku 4.5 as router and answer model, a reconstruction of the platform's tool agent answered 71.6\% of canonical Greek questions correctly and vector RAG 95.3\% (difference $-23.6$ percentage points, 95\% CI $-33.1$ to $-15.1$). Letting the router write the vector query changed nothing, and placing the whole knowledge base of about 26,000 tokens in the prompt reached 99.3\%. The tool agent's losses arose in retrieval. Its literal searches returned nothing when the router's arguments did not occur verbatim in a record, for example when it transliterated Greek into Latin script or combined words that occur in a record but not as one phrase, and the agent then abstained. Unaccented and capitalised questions cost the tool agent about 20 points and vector RAG at most 2; accent-insensitive search removed this loss, and matching stemmed tokens raised the tool agent to 83.8\% on canonical Greek. Greeklish cost both designs about 21 to 32 points. Tool interfaces for community knowledge bases need search that tolerates how users type.
- Abstract(参考訳): 小さな、頻繁に編集された知識ベースに基盤を置くアシスタントは、ライブデータインターフェースへのツールコールや、ベクトル検索拡張生成(RAG)を通じて検索することができる。
ギリシャのキテラ(Kythera)にあるギリシャ系英語の農業プラットフォーム(Kythera)の公開記録から得られた198の質問のベンチマークであるKyGround(KyGround)の2つの質問を比較し、その答えを、アクセントのないギリシャ語、首都、ラテン文字(ギリシャ語)の3つのスキームを含む9つの形式で自動的に検証した。
Claude Haiku 4.5 をルーターと解答モデルとして、プラットフォームのツールエージェントの再構築により、ギリシャの標準的質問の 71.6 % とベクター RAG 95.3 % (差分$-23.6 %、CI $-33.1 % から$-15.1 %)が正解した。
ルータをベクトルクエリーを書くことは何も変化せず、そのプロンプトに約26,000個のトークンの知識ベースが99.3\%に達した。
ツールエージェントの損失は、検索で発生した。
そのリテラル検索は、例えばギリシア語をラテン文字に翻訳したときや、レコードで起こるが一つのフレーズとして起こらない複合語を1つにまとめたときなど、ルータの引数が記録に冗長に起こらなかった場合、何も返さない。
非アクセントで大文字化されていない質問では、ツールエージェントが20点、ベクトルRAGが少なくとも2点、アクセントに敏感な検索でこの損失が取り除かれ、ステムドトークンが一致すると、ツールエージェントは標準的なギリシャ語で83.8\%まで上昇した。
ギリシャ語による設計はいずれも21点から32点程度であった。
コミュニティ知識ベースのためのツールインターフェースは、ユーザーがどのようにタイプするかを許容する検索を必要とする。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval [0.0]
CFA、EFPA、CPAなどの金融認証試験は、ドメイン推論の構造化を要求する。
我々はLangGraph上に検索拡張パイプラインを構築し、クエリ言語を検出し、意味論的に関連する例を検索する。
効果的な多言語財務推論には、言語対応検索、モデルルーティング、故意の採点戦略選択が必要であることを示す。
論文 参考訳(メタデータ) (2026-07-24T18:31:11Z) - Multilingual Semantic Retrieval for Apple Music Search [0.0]
Apple Musicは、数十の言語で150以上の店舗でリスナーを提供する。
この規模では、ミススペル、トランスリテラル、およびクロスランガルクエリによる検索リコールがセッション品質の主要な要因となる。
GTE-multilingual-baseから微調整された305M-パラメータのシームズバイエンコーダに基づく多言語意味検索システムを提案する。
論文 参考訳(メタデータ) (2026-07-11T10:00:48Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - Codebase-Memory: Tree-Sitter-Based Knowledge Graphs for LLM Code Exploration via MCP [0.0]
我々は、モデルコンテキストプロトコル(MCP)を介して、永続的なツリーベースの知識グラフを構築するオープンソースシステムであるCodebase-Memoryを提示する。
Codebase-Memoryはファイル探索エージェントの応答品質が83%、92%、トークンが10倍、ツールコールが2.1倍である。
ハブ検出や呼び出し者ランキングなどのグラフネイティブクエリでは、31言語中19言語でエクスプローラーと一致するか、超えている。
論文 参考訳(メタデータ) (2026-03-28T14:18:12Z) - Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。
WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。
Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
論文 参考訳(メタデータ) (2026-03-26T10:56:48Z) - SE-Search: Self-Evolving Search Agent via Memory and Dense Reward [87.79131676521656]
Retrieval augmented generation (RAG)は、検索した外部知識を条件づけることにより、大規模言語モデル(LLM)における幻覚や事実エラーを低減する。
既存の手法は、無関係または騒々しい文書を蓄積し、希少な強化学習信号に依存することが多い。
我々は,3つのコンポーネントによるオンライン検索行動を改善するセルフ進化検索エージェントであるtextbfSelf-textbfEvolving textbfSearchを提案する。
論文 参考訳(メタデータ) (2026-02-06T09:14:07Z) - Few-shot Reranking for Multi-hop QA via Language Model Prompting [56.454088569241534]
オープンドメイン質問を用いたマルチホップQAにおける数点のリランクについて検討した。
本稿では,マルチホップパスの再ランク付けを促す大規模言語モデルに依存するPromptRankを提案する。
PromptRankは、HotpotQA上で128のトレーニング例で強力な検索性能を得る。
論文 参考訳(メタデータ) (2022-05-25T10:45:55Z) - QALD-9-plus: A Multilingual Dataset for Question Answering over DBpedia
and Wikidata Translated by Native Speakers [68.9964449363406]
私たちは8つの言語に高品質な質問の翻訳を導入することで、最も人気のあるKGQAベンチマークの1つ、QALD-9を拡張します。
アルメニア語、ウクライナ語、リトアニア語、バシキル語、ベラルーシ語という5つの言語は、これまでにKGQA研究コミュニティで最高の知識について検討されたことがなかった。
論文 参考訳(メタデータ) (2022-01-31T22:19:55Z) - Differentiable Reasoning over a Virtual Knowledge Base [156.94984221342716]
コーパスを仮想知識ベース(KB)として,複雑なマルチホップ質問に答えるタスクについて検討する。
特に、コーパス内のエンティティの参照間の関係の経路をソフトに追従し、KBのようにテキストデータをトラバースするDrKITについて述べる。
DrKITは非常に効率的で、既存のマルチホップシステムよりも毎秒10-100倍のクエリを処理する。
論文 参考訳(メタデータ) (2020-02-25T03:13:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。