KVキャッシュとは

要点

モデルがすでに読んだ入力の途中計算を保存し、同じ先頭部分を再計算せずに続きから処理する仕組みです。

KVキャッシュの意味と、制作資料の中でどのように使われているかを確認します。