Arion 支持完全离线推理，并且做了 mac 端 mlx、windows 端 directml 的模型加速

当然，项目也支持了从云端接入模型
对于 provider 的实现，这里我维护了一个从 bub 的 republic 项目 fork 出来的 go 语言版本

https://github.com/AstraFoundry/republic

GitHub

GitHub - AstraFoundry/republic: Go library for AI providers.

Go library for AI providers. Contribute to AstraFoundry/republic development by creating an account on GitHub.