加速模型载入

[shouldsee]

RWKV6

目前模型载入的速度挺久的，需要载入ninja2 extension。开发的时候经常重新载入模型，有没有啥好办法加速？目前用的gradio应用基座，每次更改应用层逻辑的时候都会重载。

[BlinkDL]

可以试试 https://github.com/Ai00-X/ai00_server

[shouldsee]

好的谢谢