数据留在本机
推理在服务所在设备上完成，Sparklet 没有云端服务。只有在你添加或下载模型时，才会访问 Hugging Face。
本地大模型工作台
把大模型留在
自己的设备上
Sparklet 在你的设备上运行文本生成与语音识别模型。用网页或桌面端下载、启动和管理模型，再通过 OpenAI 风格的接口接入你的工具。
面向 DGX Spark、RTX Spark 等 Arm64 本地 AI 设备。每个版本可用的平台以下载页列出的文件为准。
$ curl -N http://127.0.0.1:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model": "qwen3-0.6b", "stream": true,
"messages": [{"role": "user",
"content": "用一句话介绍你自己"}]}'
data: {"choices":[{"delta":{"role":"assistant"}}]}
data: {"choices":[{"delta":{"content":"我是在你本机"}}]}
data: {"choices":[{"delta":{"content":"运行的模型。"}}]}
data: [DONE]功能
从下载模型到接入工具，都在本机完成
网页与桌面共用一套界面
服务内置网页工作台，桌面端连接同一个实例。多个窗口可以同时操作，状态自动同步。
多个模型同时运行
每个模型有独立的工作线程、请求队列和推理端口，可以分别启动、停止和设置参数。
OpenAI 风格接口
提供 /v1/chat/completions（JSON 与 SSE 流式）和 /v1/audio/transcriptions，支持常用的请求参数。
文本生成与语音识别
文本生成支持 Qwen3 系列，语音识别支持 FireRedASR2-LLM。模型固定到具体版本，下载后逐文件校验。
安装、升级都能回退
桌面端校验并安装服务程序包，保留上一个版本，需要时可以回退。升级不改动模型和数据。
工作方式
一个本地服务，多种使用方式
推理核心 sparklet 是一个本地服务：管理模型、提供网页工作台和推理接口。桌面端、浏览器和你自己的程序都连接到它。
- 桌面端托盘、本机安装与升级
- 浏览器服务内置的网页工作台
- 你的工具OpenAI 风格 API
sparklet 服务
模型库与下载校验
运行设置与访问密钥
资源与日志
- 文本模型独立推理端口，例如 :8081
- 语音识别模型独立推理端口，例如 :8082
- 安装服务在桌面端一键下载安装，或解压服务端程序包直接运行。
- 添加模型在模型库选择内置模型或填写 Hugging Face 地址，手动开始下载。
- 启动并调用启动模型后，复制它的 API 地址，在工具或脚本里调用。
统一内存设备
内存怎么算，界面上写清楚
在 DGX Spark、RTX Spark 这类设备上，CPU 和 GPU 共用同一块内存。Sparklet 的资源概览分开显示系统内存、GPU 专用区、共享区和服务可用预算，共享部分不会重复相加。
可以只用 CPU 运行，也可以选择 CUDA 加速版本。每个版本支持的平台、加速方式和已验证的模型，以发布说明为准。
目标平台 · 以各版本发布说明为准
- 服务端
- Linux Arm64、Windows Arm64
- 桌面端
- Windows Arm64（NSIS 安装包）
- 加速
- CPU；CUDA 版本按 GPU 架构分别提供
- 访问
- 默认只监听本机，远程访问需要设置 API 密钥