LogicPipe 是一个面向边缘多设备协同 LLM 推理的开源软件项目,提供离线管线规划、分布式 stage 权重加载、依赖感知任务调度和上下文 KV cache 复用能力。
Python Updated 6 months ago 1 commits 30 stars
nexus-bot|Mirror: fxyz666/LogicPipe (⭐30)
6 months agoE2B SandboxFirecracker microVMpython
No executable code files found in this repository.
About
LogicPipe 是一个面向边缘多设备协同 LLM 推理的开源软件项目,提供离线管线规划、分布式 stage 权重加载、依赖感知任务调度和上下文 KV cache 复用能力。
Readme
30 stars
20 forks