ここでは過去にWIDEプロジェクトがメンバー向けに発信してきた主な活動報告をダイジェストでご紹介します。発信当時の内容に加え、新たな動きや状況の変化に応じて随時追記・更新していきます。
生成AIの登場により、さまざまな領域でのAI技術の応用が始まっています。特に、大規模言語モデル（LLM: Large Language Model）は、自然言語のインターフェイスを持つため、これまでデジタル化の進まなかった領域への応用も期待されています。
ここでは、WIDEプロジェクトで取り組むべき研究課題について、2024年7月に開催した夏のボード主催研究会での議論を中心にご紹介します。
2024年7月29日から31日の３日間にわたり夏のボード主催研究会を開催した。研究会のアジェンダは以下のとおりであった。
最初の議題では、AI技術に関する基礎知識・前提の共有が行われた。その中でも注目すべきこととして、AI基盤モデル（Foundation Model）の急速な発展を説明するスケーリング則についての情報共有があった。スケーリング則とは、モデルサイズ（パラメータ数）、学習に利用したデータセットのサイズ（トークン数）、学習に要した計算資源量（FLOPS-days）の３つの要素に従い、AIモデル性能が向上する（スケールする）という法則である。昨今の大規模なGPU基盤の整備とインターネット・web上の多量のデータがこれらを支えている。
本研究会では、大規模学習に加えて、追加学習や推論についての動向も報告された。特に推論についてはモデルの大規模化に対応するために、パラメータの量子化に４ビットなどの低精度浮動小数点や整数が用いられ始めている。これにより、モデルの利用するメモリ量を減らすことができ、大規模モデルを分散して格納するのに必要なGPU数を減らすことができる。低精度浮動小数点や整数を用いた場合にも性能を下げないような研究が進められており、今後も利用が広がることが予想されている。モデル大規模化も進んでおり、AI計算基盤においてスケーラビリティがますます重要となっている。
このセッションではソフトバンクの川上氏をゲストスピーカーとして招待し、AIクラウドの設計から運用までの課題について議論した。大規模学習に用いるAIクラウド（AIデータセンター）の議論が中心であったが、今後AI技術がインターネットサービスの一部として普及して行く中で、地域分散アーキテクチャのあり方も変わってくる可能性についての指摘もあり、継続的に集中と分散アーキテクチャに関する研究を進める必要があることを確認した。
このセッションでは、Arrcusの海老澤氏をゲストスピーカーとして招き、AIデータセンターで利用されるネットワーク技術について、プロトコルからハードウェアまでを網羅的に議論した。まずは、大規模学習で用いられる分散計算技術として、Data Parallelism、Tensor Parallelism、Pipeline Parallelismの３種類の技術について解説があり、これらの分散計算技術で用いられる集合通信（Collective Communication）についても紹介された。またこの集合通信をEthernetで行う技術として、RDMA over Converged Ethernet version 2（RoCEv2）のプロトコルの解説があった。
また、大規模学習の集合通信において最も利用されているAll-Reduceの処理に最適化したネットワークトポロジーの研究として、Rall Optimized Topologyの紹介があった。さらに、RoCEv2で課題となるスケーラビリティやオーバーサブスプリクション、ロードバランスの課題を解決するためにEthernetをベースとしてHigh Performance Computing（HPC）やAI・機械学習向けのインターコネクト技術の標準化を目指しているUltra Ethernet Consortium（UEC）について紹介があった。
このセッションでは、IAB Workshop AI Controlの開催案内やEUのAI Actなどの法規制を中心に、AI時代にインターネット基盤で考えるべきガバナンスや技術について議論した。AI技術が急速に発展し、利用が進む中で、これらについては結論を出すことが難しいが、自律分散システムとしてのインターネットから得られた知見をもとに検討を続けることとした。
ここでは前のセッションで議論したガバナンスを含め、AIがデジタル基盤に取り組まれる中でインターネットとAI基盤が社会基盤として担う役割と課題について議論した。特に、インターネットを取り巻くさまざまな研究開発に関係してきたWIDEプロジェクトがその知見を活かして取り組むべき課題について議論した。CopyrightやIntellecutual property、robot.txtなど合計51のキーワードが挙がり、今後はこれを短期的なもの、中長期的なものに分け、WIDEのAI戦略を検討していくこととした。
2024年秋のWIDE合宿のBoard Plenaryでは、前述した研究会の報告とともに、Discussion on AI and Internet as a social Infrastructureのセッションで挙がったキーワードをもとに、WIDEプロジェクトの取り組むべき課題について議論した。しかし、AI技術は日進月歩であり、その応用領域も急速に広がっていることから、robots.txtのような特定の課題はあり、それらについて取り組む必要はあるものの、WIDEプロジェクトとして中長期的な戦略を定めることが困難であることがわかった。そのことから、実際にAI技術に触れながら、また運用を通じて知見を集積させ、課題解決に取り組むという方向性が示された。
今後もこれらのプロジェクトや研究について、研究会等でその情報共有を継続し、課題発見や解決に取り組むことで、AIを含めたデジタル社会基盤の研究開発に取り組む予定である。
【 2025年10月 】