はじめに
本レポートは、株式会社GFLOPS（ジーフロップス、以下「当社」）が理化学研究所計算科学研究センター（以下、R-CCS）と共同で取り組む、スーパーコンピュータ「富岳」のユーザーサポートにおける生成AIチャット「AskDona（アスクドナ）」（以下、AskDona）の運用実績と、実利用データに基づくクエリ分析を報告するものである。2025年に公開した前回レポートに続く報告にあたる。
前回レポート：「理化学研究所スーパーコンピュータ「富岳」のユーザーサポートにおける生成AIチャット「AskDona」の導入・運用実績レポート」
前回レポートでは、AskDonaを導入した2024年7月9日から2025年6月までの約1年間を対象として、「富岳サポートサイト」における利用動向と、有人サポート業務への効果を報告した。本レポートでは、対象期間を2024年7月から2026年6月までの24か月間に延長し、利用が一時的な導入効果にとどまらず継続しているかを検証する。さらに、回答生成エンジンの改善と利用者の行動変化との関係を、実際の利用データから確認する。
あわせて、本レポートでは、分析の視点を「どれだけ使われたか」から「何が問われているか」へと広げた。同じRAG（Retrieval-Augmented Generation：質問に関連する資料を検索し、その内容をもとに回答を生成する仕組み）基盤を用いながら、用途の異なる2つのチャットボットを比較する。対象とするのは、「富岳」の利用手順やトラブルへの対処を支援する「富岳サポートサイト」と、スーパーコンピュータによる研究成果を横断的に調査する「スパコン成果ナビ」である。両サイトに寄せられたクエリを共通の分類体系で比較し、用途の違いが、質問の型や、回答に必要な検索・情報処理の仕組みにどのような差として表れるかを明らかにする。
本レポートの構成は、次のとおりである。第1章では、24か月間の利用実績を、質問数やセッション数の推移、回答の充実度、情報不足回答、利用言語、利用時間帯、有人対応件数などの観点から整理する。第2章では、先行研究を踏まえて分類体系を設計したうえで、LLMを用いて2つのチャットボットに寄せられたクエリを分類する（LLM-based query classification）。利用者の目的を示す「目的軸」と、回答に必要な処理を示す「機構軸」の両面から、それぞれの特徴を比較する。
当社とR-CCSは、実運用から得られた知見を公開することが、生成AI技術の社会実装を進めるうえで有益であると考えている。本レポートが、RAGを実務へ導入・運用する企業や研究機関の参考となれば幸いである。
1.1 利用の定着と回答の充実
本章では、「富岳サポートサイト」に導入した生成AIチャットボット「AskDona」について、2024年7月から2026年6月までの24か月間の利用実績を分析する。
質問数やセッション*1 数の推移に加え、質問および回答の文字数、回答できなかった質問、使用言語、1セッション内の質問数、質問の内容、利用された曜日・時間帯、有人対応状況などを確認し、AskDonaがどのように使われているのかを整理する。
対象期間中にAskDonaへ寄せられた質問は13,461件であった。新たに開始されたセッションは3,107件で、月平均では質問が約561件、新規セッションが約129件である。
図1.1-1をみると、質問数には月ごとの増減があるものの、24か月を通じて継続的に利用されていることがわかる。
2025年9月から2026年2月までの質問数は月平均263件であったが、2026年3月から6月には月平均681件まで回復した。2026年5月の質問数は1,027件で、2025年1月の1,204件に次いで2番目に多い水準である。また、同月に始まった新規セッションは239件で、対象期間中の最多となった。
質問数の増減には、「富岳」の課題公募や利用開始時期など、研究活動の年間スケジュールが影響している可能性がある。また、直近の2026年7月以降も1,000件を超える質問が寄せられており、季節要因に加え、そもそもの「富岳サポートサイト」の利用者数、利用頻度が高まっている可能性も大きい。重要なのは、導入直後だけ使われたのではなく、時期による変動を伴いながらも利用が継続・拡大されている点である。
回答内容にも変化が見られた。回答文字数の中央値は、2024年7月の965文字から2026年6月には2,664文字となり、約2.8倍に増えている。特に2025年10月以降、回答文字数が大きく増加した。
この変化には、AskDonaの回答生成エンジン「dona-rag」のアップデートが影響していると考えられる。ひとつの質問クエリに対して、サブクエリ（元の質問を分解して作成する補助的な質問）を生成するAIエージェントを搭載したことで、参照資料や具体的な手順、関連する注意事項を含む、より詳細な回答を一度で生成しやすくなった。その結果、1件の質問に対して提示できる情報量が増加したと考えられる。
回答文字数が増加した2025年10月から2026年2月にかけては、全体の質問数と1セッションあたりの平均メッセージ数が比較的低い水準で推移した。具体的には、2024年7月から2025年9月にかけて、1セッションあたり平均メッセージ数が約5.4件、2025年10月から2026年2月にかけては約2.3件と、半分以下に減少している。これは、回答内容が充実したことで、少ないやりとりでも疑問を解消できるケースが増えた可能性を示している。ただし、質問数の変化には季節要因や利用者数なども影響するため、回答生成エンジンのアップデートとの直接的な因果関係については、慎重に捉える必要がある。
2026年3月以降は、質問数と新規セッション数、およびセッションあたりの平均メッセージ数が再び増加している。これは、アップデートされたAskDonaの回答内容や精度に適応した利用者が、より複雑で長いやりとりを必要とする複合的なクエリを質問する傾向が顕著になったと解釈することができる。以上から、AskDonaでは継続的な利用が定着するとともに、回答生成エンジンの改善を通じて、1件の質問に対して提供できる情報も充実してきたといえる。加えて、利用者側から入力される複雑なクエリ・やりとりにも、AskDonaが対応できるようになったのではないだろうか。
*1 「セッション」とは、AskDonaにおける一連の会話のことである。本レポートでは、利用者が「新しいチャット」を作成して最初の質問を送信した時点をセッションの始まりとし、同じチャット内で行われた質問は、送信日時が離れていても同一のセッションとして扱った。別の新しいチャットを作成した場合は、別のセッションとして記録されている。なお、一定時間操作がないことを理由にセッションを区切ってはいない。
1.2 情報不足回答の推移
RAGでは、参照するデータベースに必要な情報がなければ、適切な回答を生成できない。AskDonaは、根拠が見つからない場合に推測で補うのではなく、参照情報が不足していること自体を、そのまま回答で伝えるように設計されている。
本節では、AskDonaのAI分析機能が「参照情報が不足していて回答できなかった」と判定した回答を「情報不足回答」として集計した。判定はAskDonaの機能に実装されたLLMを用いており、回答文のキーワード一致だけで機械的に分類したものではない。情報不足回答率は、各月の回答済み質問数に占める情報不足回答数の割合である。
24か月の情報不足回答率の月平均は約8.3%であった。最も低いのは2024年10月の3.3%、最も高いのは2026年4月の18.7%である。直近では2026年5月が7.3%、6月が5.2%であった。
月別に見ると、2025年12月（14.6%）と2026年3月から4月（15.9%、18.7%）が他月より高くなっている。それぞれ背景が異なるため、以下で内容を確認する。
2025年12月の情報不足回答は33件で、24か月の月平均43.6件を下回っている。一方、同月の質問数は226件と24か月で3番目に少なく、情報不足回答率が高くなりやすい状況であった。情報不足と判定された質問には、次のようなものが含まれていた。
- コンパイル時のエラーメッセージや、ジョブの異常終了コードの原因と回避方法
- 富岳以外の計算機の仕様
- 施設への交通手段
- 注意喚起メールの文意 など。
富岳の技術文書に含まれない情報や、利用者の個別環境に依存する質問が、質問数の少ない月に一定数寄せられたことが、不足率の上昇に影響したと考えられる。
2026年3月の情報不足回答は94件・15.8%、4月は59件・18.7%であった。3月は質問数も前月の237件から596件へ増加している。両月の質問には、主に次の3つの特徴が見られた。
第一に、年度替わりの利用手続きに関する質問が増えていた。3月は94件のうち26件、4月は59件のうち16件が、課題参加者やアカウントの申請、本人確認、申請後の反映時期、ディスク容量の拡張、資源量の反映時期に関するものであった。課題参加者の追加や本人確認など、標準的な手順はHPCIのウェブサイトで公開されている。一方、所定の身分証を所持していない場合の対応、個別の申請状況、ポータル上の資源量が更新される時期など、例外的な取り扱いや現在の状態を問う質問も含まれていた。こうした質問にも対応するために、既存の公開情報をデータベースへ適切に反映するとともに、例外時の問い合わせ先や、申請・資源情報の標準的な反映時期を明示することで、一部の情報不足回答を減らせる可能性がある。また、個別の申請状況など、文書だけでは回答できない質問については、有人窓口への引き継ぎを周知することが重要だ。
第二に、システムの現在の状態や変更の有無を問う質問があった。該当する質問は3月に14件、4月に5件である。4月には、3月下旬以降にコンテナイメージをビルドできなくなった利用者から、同時期の環境変更を確認する質問が続いた。過去の文書を参照する仕組みでは、現在の設定や変更履歴を確認できない。
第三に、情報不足回答が少数のセッションに集中していた。4月の59件のうち23件、39%は上位3セッションに由来し、そのうち8件は前述のビルド不能に関する一連の相談であった。3月も上位3セッションが19件、20%を占める。同じ利用者が一つの論点を繰り返し確認したことも、件数と率を押し上げた可能性がある。
以上から、2026年3月から4月の上昇には、年度替わりの利用手続き、システムの現状確認、少数の長い相談が複合的に影響したと考えられる。
1.3 英語話者の研究者による利用の増加
「富岳サポートサイト」のAskDonaは、日本語データベースと英語データベースの2つで構成されている。24か月間に英語データベースへ寄せられた質問は1,437件で、全質問の10.7%を占めた。
特に大きな変化が見られたのは、集計期間の最後の2か月である。英語データベースへの質問は、2025年1月に一時的に増加していたものの、その後は少ない水準で推移していた。しかしながら、2026年5月に96件、6月に195件となり増加した。2024年7月から2026年4月までの月平均は52.1件だったため、特に2026年6月の件数はその約3.7倍にあたる。2026年7月以降も、英語データベースに約90件程度の質問が寄せられており、利用の定着が伺える。
全質問に占める英語データベースの割合も、2026年5月は9.3%、6月は24.9%まで上昇した。6月は、4件に1件が英語データベースへの質問だったことになる。
この2か月の増加だけで長期的な傾向と判断することはできないが、英語で情報を探す利用者から一定の需要があることは確認できる。「富岳」が国際的な共同研究にも利用されることを踏まえると、日本語と英語のどちらでも必要な情報へ到達できる状態を維持することは、今後も重要である。
1.4 一問一答だけでは終わらない利用
AskDonaが1回の会話でどの程度使われているのかを確認するため、分析用データとしてその中身を取得できた3,086の会話セッションについて、利用者が行った質問数を集計した。
1問で終わったセッションは1,407件で、全体の45.6%であった。2問から3問のセッションは914件で、29.6%である。この2つを合わせると、全体の約4分の3は3問以内で完了している。なお、セッションあたりの質問数の変化は、特に「dona-rag」アップデート前後で顕著である。
「1.1 利用の定着と回答の充実」でも確認したとおり、アップデート後は1回の質問で充実した回答が得られ、疑問が解消するケースが増えたと推測する。具体的な質問件数としては、図1.4-2が示すとおり、2024年7月から2025年9月にかけて1セッションあたり平均質問数が約4.6件に対して、2025年10月から2026年6月にかけては約2.8件と、全体的に減少した。
一方、4問以上の質問が行われたセッションも765件あり、全体の24.8%を占めた。6問以上は467件（15.1%）、21問以上に達したセッションも91件（2.9%）ある。
この結果から、AskDonaは単発の情報確認だけでなく、最初の回答を受けて追加の質問を重ねる用途にも使われていることがわかる。「富岳」の利用では、ジョブスクリプト*2、コンパイル*3、実行環境*4、エラーへの対処など、複数の条件を確認しながら進める作業が少なくない。こうした場面では、1回の質問ですべてを解決するよりも、回答を確認しながら次の質問へ進む使い方が自然である。
セッション内の質問数だけで、問題が解決したかどうかまでは判断できない。ただし、約4分の1のセッションで4問以上の質問が行われていることは、AskDonaが一問一答型のFAQにとどまらず、継続的な情報探索にも利用されていることを示している。
*2：計算内容や必要な計算資源、実行時間などを指定するファイル。
*3：プログラムを「富岳」で実行できる形式に変換する作業。
*4：使用するソフトウェアやライブラリなどの設定のこと。
1.5 クエリの分類からみたサポート範囲の広がり
AskDonaが受け付けた質問全件について、ユーザーの目的に沿った簡易的な分類を行った。 分類は「方法探索（やり方を知りたい）」「情報探索（事実を知りたい）」「エラー・トラブル相談」「その他・分類外」の4区分である。それぞれ以下の定義で分類を行った。
| 分類 | 以下のような文言を含むクエリ |
|---|---|
| 方法探索 | 方法 / どうすれば / どうやって / したい / 手順 / やり方 / できますか / できるでしょうか / 使い方 / 設定 / how to / how can / how do |
| エラー・トラブル相談 | エラー / error / 失敗 / 動かない / 異常終了 / 対処 / うまくいかない / 警告 |
| 情報探索 | とは / 何です / 何でしょう / なんですか / 教えて / ありますか / いくつ / どこ / どれ / 一覧 / でしょうか / ますか / what is / which / where / is there |
| その他・分類外 | （上のどれにも当たらなかったもの） |
表1.5 クエリ分類の区分定義（文言による分類）
24か月の全体では、情報探索が3,075件（25.0%）、方法探索が3,054件（24.9%）、その他・が4,984件（40.6%）、エラー・トラブル相談が1,172件（9.5%）となった。
「情報探索」と「方法探索」を合わせると、全体の50%である。利用者の約半数は、事実の確認や具体的な操作方法を知るためにAskDonaを使っていた。一方、エラー・トラブル相談は9.5%で、問い合わせの中心が障害対応だけに偏っているわけではない。なお、クエリ本文の特定の文言が含まれるか否かという機械的かつ簡易的な分類では、どのような目的のクエリか判断できない「その他・分類外」のクエリが41%も含まれた。こうした単純な方法では分類が難しいクエリについては、次章でLLMを用いたより詳細な分類（LLM-based query classification）を実施する。
より細かなテーマ別分類では、「コンパイル・ビルド・プログラミング」が2,117件（17.2%）で最も多く、次いで「追加質問・短い確認」が1,868件（15.2%）、「ジョブ実行・スケジューラ」が1,835件（14.9%）であった。「富岳」を実際に使う過程で生じる具体的な操作や技術上の確認に、AskDonaが広く利用されていることがわかる。なお、この分類は文言やキーワードによる簡易判定である点に留意が必要である。
1.6 利用の時間分布からみた24時間対応の価値
AskDonaが利用された曜日と時間帯を、日本時間で集計した。なお、集計には全件ではなく正確な日時データが取得可能な12,285件を用いた。
平日の質問は11,508件で、全体の93.7%を占めた。曜日別では木曜日が2,536件で最も多く、次いで水曜日が2,525件、火曜日が2,314件であった。土曜日と日曜日を合わせた質問数は777件で、全体の6.3%である。
時間帯別では、9時から17時台までに9,796件の質問があり、全体の79.7%を占めた。最も多かったのは14時台の1,365件で、15時台の1,348件が続く。利用の中心は、研究機関の一般的な活動時間と重なっている。
一方、9時より前または18時以降にも2,489件の質問があり、全体の20.3%を占めた。深夜0時台には137件、1時台にも99件の質問が記録されている。長時間のジョブ実行や結果確認は、日中だけで完結するとは限らない。時間を問わず質問できることは、計算の待ち時間や作業の中断を減らすうえで意味がある。
仮に有人サポートの対応時間を平日9時から18時までとすると、その時間帯を外れる質問は2,942件で、全体の23.9%である。実際の受付時間とは別に確認が必要だが、AskDonaが有人サポートの対応が難しい時間帯を補えることは、利用データからも確認できる。
1.7 有人対応の件数の推移
「富岳サポートサイト」における有人対応の件数や前年比を集計した。
新規チケット発行数を「質問」「申請」「通知」「非会員」の区分別に示した。対象期間では、2024年10月から12月の436件から減少が続き、2026年1月から3月は230件となった。
一方、2026年4月から6月は441件まで増加した。内訳をみると、「申請」が160件、「非会員」が167件で、前年同期の94件、104件をそれぞれ上回った。有人問い合わせにあたる「質問」チケットは78件で、前年同期の100件から22.0%減少している。
「質問」のチケット件数を12か月単位で比較すると、AskDona導入前1年間（2023年7月〜2024年6月）の「質問」は796件であった。導入後1年目（2024年7月〜2025年6月）は580件で導入前から27.1%減少し、導入後2年目（2025年7月〜2026年6月）は327件で、1年目からさらに43.6%減少した。導入前との比較では58.9%減少している。図1.7-2の月別比較では、2026年4月を除いて前年同月を下回り、2026年6月は16件と前年同月の32件から半減した。なお、月別で最も減少したのは12月であり、2025年12月は前年対比で78.6%も減少している。
この結果から、チケット全体の増減と有人問い合わせの増減は区別して考える必要がある。有人問い合わせにあたる「質問」チケットは、2025年6月から2026年6月まで13か月連続で前年同月以下となった。一方、同期間もAskDonaには毎月継続して質問が寄せられている。AskDonaの寄与の大きさをこのデータだけで測ることはできないものの、利用者が必要な情報を確認するための受け皿として、AskDonaが有人窓口を補完する役割を果たしている可能性が非常に高いと考える。
1.8 本章のまとめ
本章で確認できた主な結果は、次の通りである。
- 24か月間に13,461件の質問が寄せられ、3,107件の新規セッションが始まった。利用量には月ごとの変動があるものの、継続的に利用されている。
- 回答文字数の中央値は965文字から2,664文字へ約2.8倍に増えた。それにともない一回のやりとりで質問が解消するセッションが増加したと推測できる。
- 情報不足回答率の月平均は10.3%であった。直近の2026年5月は5.6%、6月は4.3%である。
- 英語データベースへの質問は1,437件で、全体の10.7%であった。2026年6月には195件まで増え、同月の全質問の24.9%を占めた。
- 4問以上の質問が行われたセッションは765件で、全体の24.8%であった。一問一答だけでなく、追加の質問を重ねる使い方も定着している。
- 「情報探索」と「方法探索」は合計49.9%であった。エラー対応だけでなく、「何ができるか」「どのように使うか」を確認するためにも利用されている。
- 質問の20.3%は、曜日を問わず9時より前または18時以降に発生していた。24時間利用できるチャットボットが、日中以外の研究活動も支えている。
- 有人問い合わせにあたる「質問」チケットは、AskDona導入前1年間（2023年7月〜2024年6月）の796件から、導入後1年目（2024年7月〜2025年6月）は580件、導入後2年目（2025年7月〜2026年6月）は327件へと減少した。導入後2年目は1年目比43.6%減、導入前比58.9%減である。減少率が最も大きい月は2025年12月であり、前年対比で78.6%も減少した。一方、新規チケット総数は、申請や非会員に関するチケットの増加によって2026年4月から6月に増加した。
以上の結果から、AskDonaは「富岳サポートサイト」において、単なる問い合わせの受付窓口ではなく、研究者自身が必要な情報へ到達するための情報基盤として使われていることがわかる。
Introduction
This report presents the operational results of the generative AI chat service AskDona and a query analysis based on real-world usage data from user support for the supercomputer Fugaku. The initiative is being undertaken jointly by GFLOPS Inc. (hereafter, "GFLOPS") and the RIKEN Center for Computational Science (hereafter, "R-CCS"). This is a follow-up to the previous report published in 2025.
Previous report: Report on the Introduction and Operational Results of the Generative AI Chat “AskDona” in User Support for RIKEN’s Supercomputer “Fugaku”.
The previous report covered the approximately one-year period from the deployment of AskDona on July 9, 2024, through June 2025. It reported usage trends on the Fugaku Support Site and the effects on human-assisted support operations. This report extends the study period to the 24 months from July 2024 through June 2026 and examines whether use has continued beyond a temporary post-deployment effect. It also examines, using actual usage data, the relationship between improvements to the response-generation engine and changes in user behavior.
This report also expands the focus of the analysis from "how much the service was used" to "what users asked." It compares two chatbots with different purposes that use the same RAG (Retrieval-Augmented Generation, a mechanism that retrieves documents relevant to a question and generates an answer based on their content) platform. The Fugaku Support Site helps users follow procedures for using Fugaku and resolve problems, while the Supercomputer Report Navigator supports cross-cutting searches of research outcomes produced using supercomputers. By comparing queries submitted to the two sites under a common classification framework, we identify how differences in purpose are reflected in the types of questions asked and in the retrieval and information-processing mechanisms required to answer them.
The report is organized as follows. Chapter 1 summarizes 24 months of operational results, including trends in questions and sessions, the amount of information provided in answers, insufficient-information responses, languages used, times of use, and the number of cases handled by human support. Chapter 2 develops a classification framework based on prior research and uses an LLM to classify queries submitted to the two chatbots (LLM-based query classification). It compares their characteristics along two dimensions: a Purpose axis representing the user's objective and a Mechanism axis representing the processing required to answer the query.
GFLOPS and R-CCS believe that sharing insights obtained from real-world operations can contribute to the practical adoption of generative AI. We hope this report will serve as a useful reference for companies and research institutions introducing and operating RAG in practice.
1.1 Sustained Use and More Substantive Answers
This chapter analyzes 24 months of operational results, from July 2024 through June 2026, for AskDona, the generative AI chatbot deployed on the Fugaku Support Site.
In addition to trends in the numbers of questions and sessions*1, we examine the lengths of questions and answers, questions that could not be answered, languages used, the number and content of questions within each session, days and times of use, and cases handled by human support. These measures provide an overall picture of how AskDona is being used.
During the study period, AskDona received 13,461 questions. Users started 3,107 new sessions, averaging approximately 561 questions and 129 new sessions per month.
As Figure 1.1-1 shows, although the number of questions varied from month to month, AskDona was used continuously throughout the 24-month period.
The average number of questions was 263 per month from September 2025 through February 2026, but recovered to 681 per month from March through June 2026. AskDona received 1,027 questions in May 2026, the second-highest monthly total after the 1,204 questions recorded in January 2025. The 239 new sessions started in May 2026 were the highest monthly total during the study period.
The annual research schedule, including calls for Fugaku project proposals and the timing of project starts, may have affected month-to-month changes in the number of questions. More than 1,000 questions per month have also been submitted since July 2026, suggesting that, in addition to seasonal factors, both the number of users of the Fugaku Support Site and their frequency of use may be increasing. The important point is that use was not confined to the period immediately after deployment; it continued and expanded despite fluctuations over time.
The content of AskDona's answers also changed. The median answer length increased approximately 2.8-fold, from 965 Japanese characters in July 2024 to 2,664 in June 2026. The increase was particularly pronounced from October 2025 onward.
This change is considered to have been influenced by an update to AskDona's response-generation engine, dona-rag. The updated engine incorporated an AI agent that generates subqueries, or supporting questions produced by breaking down the original query. This made it easier to generate, in a single response, a more detailed answer containing references, specific procedures, and related precautions. As a result, the amount of information that could be presented in response to one question is considered to have increased.
From October 2025 through February 2026, when answer length increased, both the overall number of questions and the average number of messages per session remained relatively low. Specifically, the average number of messages per session was approximately 5.4 from July 2024 through September 2025, but approximately 2.3 from October 2025 through February 2026, less than half the earlier level. This suggests that more users may have been able to resolve their questions with fewer exchanges because answers had become more substantive. However, seasonal factors and the number of users may also affect question volume, so any direct causal relationship with the response-generation engine update should be interpreted cautiously.
From March 2026 onward, the numbers of questions and new sessions, as well as the average number of messages per session, increased again. One possible interpretation is that, as users adapted to the content and accuracy of the updated AskDona, they increasingly submitted compound queries requiring more complex and extended exchanges. Overall, AskDona has become established as a service in continuous use, while improvements to the response-generation engine have increased the amount of information it can provide in response to a single question. AskDona may also have become better able to handle complex queries and exchanges initiated by users.
*1 A "session" is a sequence of messages in a single AskDona conversation. In this report, a session begins when a user creates a "new chat" and submits the first question. Questions submitted within the same chat are treated as part of the same session even when they were submitted at widely separated times. Creating another new chat starts a separate session. Sessions are not divided solely because there has been no activity for a certain period.
1.2 Trends in Insufficient-Information Responses
A RAG system cannot generate an appropriate answer if its reference database lacks the necessary information. AskDona is designed not to fill gaps with speculation when no supporting evidence can be found, but instead to state directly in its answer that the available reference information is insufficient.
In this section, responses that AskDona's AI analysis function judged as "unable to answer because the reference information was insufficient" are counted as insufficient-information responses. The judgment was made using an LLM implemented as part of AskDona's functionality, rather than by mechanically matching keywords in the answer text. The monthly insufficient-information response rate is the number of such responses divided by the number of answered questions in that month.
The average monthly insufficient-information response rate over the 24 months was approximately 8.3%. The lowest rate was 3.3% in October 2024, and the highest was 18.7% in April 2026. More recently, the rate was 7.3% in May 2026 and 5.2% in June 2026.
By month, the rates in December 2025 (14.6%) and March and April 2026 (15.9% and 18.7%, respectively) were higher than in other months. Because the circumstances differed, each period is examined below.
There were 33 insufficient-information responses in December 2025, below the 24-month monthly average of 43.6. However, AskDona received only 226 questions that month, the third-lowest monthly total in the 24-month period, making the rate more susceptible to being high. Questions judged to lack sufficient information included the following:
- Causes of and workarounds for compilation error messages and abnormal job termination codes
- Specifications of computers other than Fugaku
- Transportation to the facility
- The intended meaning of warning emails, among other topics
A certain number of questions asked in a low-volume month concerned information not included in Fugaku's technical documents or depended on an individual user's environment. This is considered to have contributed to the higher insufficient-information response rate.
In March 2026, 94 responses, or 15.8%, were insufficient-information responses; in April, 59 responses, or 18.7%, were in this category. The number of questions also increased from 237 in February to 596 in March. Questions submitted in these two months had three main characteristics.
First, questions about procedures around the start of the new fiscal year increased. Of the 94 insufficient-information responses in March, 26 concerned applications for project participants or accounts, identity verification, processing times after application, increases in disk capacity, or the timing of resource-allocation updates; 16 of the 59 responses in April concerned these topics. Standard procedures, such as adding project participants and completing identity verification, are published on the HPCI website. However, the questions also included requests about exceptional handling or current status, such as what to do if a user did not possess the specified identification document, the status of an individual application, or when resource allocations would be updated on the portal. Some insufficient-information responses could potentially be reduced by properly reflecting existing public information in the database and specifying points of contact for exceptional cases and standard processing times for applications and resource-information updates. For questions that cannot be answered from documents alone, such as those about the status of an individual application, it is also important to make users aware of the handoff to human support.
Second, users asked about the system's current status and whether it had changed. There were 14 such questions in March and five in April. In April, several users who had been unable to build container images since late March asked whether the environment had changed around that time. A mechanism that consults historical documents cannot verify current configurations or change histories.
Third, insufficient-information responses were concentrated in a small number of sessions. In April, 23 of the 59 responses, or 39%, came from the three sessions with the largest numbers of such responses; eight concerned the series of consultations about build failures described above. In March, the top three sessions accounted for 19 responses, or 20%. Repeated attempts by the same user to clarify a single issue may also have increased both the count and the rate.
Taken together, the higher rates in March and April 2026 are considered to reflect a combination of procedures around the start of the fiscal year, requests to confirm the current state of the system, and a small number of extended consultations.
1.3 Increased Use by English-Speaking Researchers
AskDona on the Fugaku Support Site consists of separate Japanese-language and English-language databases. During the 24-month period, the English-language database received 1,437 questions, accounting for 10.7% of all questions.
The largest change occurred in the final two months of the study period. Questions submitted to the English-language database had increased temporarily in January 2025 but remained at a low level thereafter. They then rose to 96 in May 2026 and 195 in June. Because the monthly average from July 2024 through April 2026 was 52.1, the June 2026 total was approximately 3.7 times that average. Since July 2026, the English-language database has continued to receive approximately 90 questions per month, indicating that its use is becoming established.
The English-language database's share of all questions also rose to 9.3% in May 2026 and 24.9% in June. In June, one in four questions was submitted to the English-language database.
The increase over these two months alone is not sufficient to establish a long-term trend, but it does confirm a certain level of demand among users searching for information in English. Given Fugaku's use in international collaborative research, it will remain important to maintain access to the necessary information in both Japanese and English.
1.4 Use That Extends Beyond a Single Question and Answer
To examine how extensively AskDona is used within a single conversation, we counted the questions asked by users in the 3,086 conversational sessions whose contents could be retrieved for analysis.
A total of 1,407 sessions, or 45.6%, ended after one question. Another 914 sessions, or 29.6%, contained two or three questions. Combined, approximately three-quarters of all sessions were completed within three questions. The change in questions per session was particularly pronounced before and after the dona-rag update.
As also discussed in Section 1.1, "Sustained Use and More Substantive Answers," we infer that after the update, more cases were resolved after a single question because users received a substantive response immediately. In terms of the specific figures shown in Figure 1.4-2, the average number of questions per session decreased overall from approximately 4.6 between July 2024 and September 2025 to approximately 2.8 between October 2025 and June 2026.
At the same time, 765 sessions contained four or more questions, accounting for 24.8% of all sessions. A total of 467 sessions, or 15.1%, contained six or more questions, and 91 sessions, or 2.9%, reached 21 or more questions.
These results show that AskDona is used not only for one-off information checks but also for asking follow-up questions based on the initial answer. Work involving Fugaku often requires users to proceed while checking multiple conditions related to job scripts*2, compilation*3, the execution environment*4, and error handling. In such situations, it is natural for users to review each response and proceed to the next question rather than resolve everything with a single question.
The number of questions in a session alone cannot determine whether a problem was resolved. Nevertheless, the fact that approximately one-quarter of sessions contained four or more questions shows that AskDona is used for continuing information exploration, not merely as a one-question, one-answer FAQ.
*2 A file specifying the computation to be performed, the required computing resources, the execution time, and other parameters. *3 The process of converting a program into a form that can be executed on Fugaku. *4 The configuration of software, libraries, and related components used for execution.
1.5 Expansion of the Support Scope as Seen in Query Classification
All questions received by AskDona were subjected to a simple classification based on the user's purpose. The four categories were "Method seeking" (how to do something), "Information seeking" (learning a fact), "Error and troubleshooting consultation," and "Other or unclassified." The definitions used are shown below.
| Category | Queries containing wording such as the following |
|---|---|
| Method seeking | method / how should I / how do I / want to / procedure / steps / can I / would it be possible / how to use / configuration / how to / how can / how do |
| Error and troubleshooting consultation | error / failure / does not work / abnormal termination / workaround / unsuccessful / warning |
| Information seeking | what is / what does this mean / tell me / is there / how many / where / which / list / could it be / can it / what is / which / where / is there |
| Other or unclassified | (Queries that did not match any of the categories above) |
Table 1.5. Definitions of Query Categories Based on Wording
Across the full 24-month period, 3,075 queries (25.0%) were classified as Information seeking, 3,054 (24.9%) as Method seeking, 4,984 (40.6%) as Other or unclassified, and 1,172 (9.5%) as Error and troubleshooting consultation.
Information seeking and Method seeking together accounted for 50% of all queries. Approximately half of users used AskDona to confirm facts or learn specific operating procedures. Error and troubleshooting consultation accounted for 9.5%, indicating that support demand was not centered solely on incident response. However, this simple mechanical method, based on the presence or absence of specific wording in each query, placed 41% of queries in Other or unclassified because their purpose could not be determined. Chapter 2 applies a more detailed LLM-based query classification to queries that are difficult to classify using such a simple method.
In the more detailed topic classification, "Compilation, building, and programming" was the largest category at 2,117 queries (17.2%), followed by "Follow-up questions and brief confirmations" at 1,868 (15.2%) and "Job execution and schedulers" at 1,835 (14.9%). This shows that AskDona is widely used for specific operational and technical questions arising in the course of using Fugaku. This classification was a simple determination based on wording and keywords and should be interpreted accordingly.
1.6 Value of 24-Hour Availability as Seen in the Distribution of Usage Times
We aggregated the days of the week and times at which AskDona was used in Japan Standard Time. The analysis used the 12,285 questions for which accurate date and time data were available, rather than all questions.
A total of 11,508 questions were submitted on weekdays, accounting for 93.7% of all questions. Thursday had the highest total, at 2,536, followed by Wednesday at 2,525 and Tuesday at 2,314. Saturday and Sunday together accounted for 777 questions, or 6.3% of the total.
By time of day, 9,796 questions, or 79.7% of the total, were submitted between 9:00 a.m. and 5:59 p.m. The highest hourly total was 1,365 between 2:00 and 2:59 p.m., followed by 1,348 between 3:00 and 3:59 p.m. Use was concentrated during the typical working hours of research institutions.
However, 2,489 questions, or 20.3% of the total, were also submitted before 9:00 a.m. or after 6:00 p.m. A total of 137 questions were recorded between midnight and 12:59 a.m., and 99 between 1:00 and 1:59 a.m. Long-running jobs and checks of their results are not necessarily completed during daytime hours. The ability to ask questions at any time can help reduce idle time while computations run and interruptions to research work.
If human support hours are assumed to be 9:00 a.m. to 6:00 p.m. on weekdays, 2,942 questions, or 23.9% of the total, were submitted outside those hours. Actual reception hours must be confirmed separately, but the usage data show that AskDona can supplement human support during times when staff assistance may be difficult to obtain.
1.7 Trends in the Number of Cases Handled by Human Support
We aggregated the number of cases handled by human support on the Fugaku Support Site and their year-on-year changes.
New tickets are shown by category: "Questions," "Applications," "Notifications," and "Non-members." During the study period, the total declined from 436 in October through December 2024 to 230 in January through March 2026.
The total then increased to 441 in April through June 2026. Of these, 160 were Applications and 167 were Non-members, exceeding the 94 and 104 recorded in the same quarter of the previous year. Questions corresponding to human-assisted inquiries totaled 78, down 22.0% from 100 in the same quarter of the previous year.
Comparing Question tickets in 12-month periods, there were 796 in the year before AskDona's deployment (July 2023 through June 2024). This declined by 27.1% to 580 in the first year after deployment (July 2024 through June 2025), and then by a further 43.6% to 327 in the second year (July 2025 through June 2026). The second-year total was 58.9% lower than before deployment. In the monthly comparison in Figure 1.7-2, the 2026 total was lower than the same month of the previous year in every month except April. The June 2026 total was 16, half the 32 recorded in June 2025. The largest monthly decline occurred in December, when the December 2025 total was 78.6% lower than the previous year.
These results indicate that changes in all tickets and changes in human-assisted inquiries must be considered separately. Questions corresponding to human-assisted inquiries were at or below the same month of the previous year for 13 consecutive months from June 2025 through June 2026. AskDona continued to receive questions every month throughout the same period. Although the magnitude of AskDona's contribution cannot be measured from these data alone, it is highly likely that AskDona complemented the human-support desk by providing another channel through which users could obtain the information they needed.
1.8 Chapter Summary
The main findings of this chapter are as follows.
- AskDona received 13,461 questions and users started 3,107 new sessions over 24 months. Although usage varied by month, the service was used continuously.
- The median answer length increased approximately 2.8-fold, from 965 to 2,664 Japanese characters. This suggests that more sessions may have been resolved in a single exchange as answers became more substantive.
- The average monthly insufficient-information response rate was 10.3%. More recently, it was 5.6% in May 2026 and 4.3% in June.
- The English-language database received 1,437 questions, or 10.7% of the total. The number rose to 195 in June 2026, accounting for 24.9% of all questions that month.
- A total of 765 sessions, or 24.8%, contained four or more questions. Use involving follow-up questions, rather than a single question and answer, has also become established.
- Information seeking and Method seeking together accounted for 49.9% of queries. AskDona was used not only for error handling but also to find out "what is possible" and "how to use it."
- A total of 20.3% of questions were submitted before 9:00 a.m. or after 6:00 p.m., regardless of the day of the week. The 24-hour chatbot also supports research activities outside daytime hours.
- Question tickets corresponding to human-assisted inquiries declined from 796 in the year before AskDona's deployment (July 2023 through June 2024) to 580 in the first year after deployment (July 2024 through June 2025) and 327 in the second year (July 2025 through June 2026). The second-year total was 43.6% lower than the first-year total and 58.9% lower than before deployment. The largest monthly decline occurred in December 2025, at 78.6% year on year. However, the total number of new tickets increased from April through June 2026 because of increases in tickets concerning applications and non-members.
These results show that on the Fugaku Support Site, AskDona is used not merely as an inquiry intake channel but as an information platform through which researchers can reach the information they need.