LogicPipe 是一个面向边缘多设备协同 LLM 推理的开源软件项目,提供离线管线规划、分布式 stage 权重加载、依赖感知任务调度和上下文 KV cache 复用能力。

Python Updated 6 months ago 1 commits 30 stars
nexus-bot|Mirror: fxyz666/LogicPipe (⭐30)
6 months ago
E2B SandboxFirecracker microVMpython
No executable code files found in this repository.

About

LogicPipe 是一个面向边缘多设备协同 LLM 推理的开源软件项目,提供离线管线规划、分布式 stage 权重加载、依赖感知任务调度和上下文 KV cache 复用能力。

Readme
30 stars
20 forks