LMStudio-MCP: 构建强大且灵活的模型通信桥梁
仓库简介
欢迎来到LMStudio-MCP仓库的详细介绍文档。本仓库由infinitimeless创建,您可通过 GitHub仓库链接 访问。LMStudio-MCP实现了一个强大的模型控制协议(Model Control Protocol,MCP)服务器,能够让智能助手Claude与本地运行的语言模型(LLM)通过LM Studio实现互动。
概览
LMStudio-MCP为Claude和您本地运行的LM Studio实例之间建立了通信桥梁。这一能力允许Claude:
- 检查LM Studio API的健康状态
- 列出现有的模型
- 获取当前已加载的模型
- 使用本地模型生成文本补全
通过此桥梁,用户可以在Claude的界面中使用本地运行的模型实现私有化应用,巧妙结合Claude的智能能力和本地模型的灵活性。
先决条件
为了成功运行LMStudio-MCP,您需要具备以下环境条件:
- Python 3.7或更高版本
- 本地安装并运行的LM Studio,且确保已加载模型
- 获取Claude的MCP访问权限
- 必需的Python软件包(详见安装部分)
安装指南
开始之前,请按照以下步骤设置LMStudio-MCP:
-
克隆仓库:
git clone https://github.com/infinitimeless/LMStudio-MCP.git cd LMStudio-MCP
-
安装所需的软件包:
pip install requests "mcp[cli]" openai
MCP配置
为了让Claude能正确连接到该桥梁,需进行MCP设置配置。您可以选择以下两种方式:
-
直接从GitHub使用:
{ "lmstudio-mcp": { "command": "uvx", "args": [ "https://github.com/infinitimeless/LMStudio-MCP" ] } }
-
本地安装使用:
{ "lmstudio-mcp": { "command": "/bin/bash", "args": [ "-c", "cd /path/to/LMStudio-MCP && source venv/bin/activate && python lmstudio_bridge.py" ] } }
详细的MCP配置说明请参见MCP_CONFIGURATION.md。
使用说明
请根据以下步骤来使用LMStudio-MCP:
- 启动您的LM Studio应用,并确保其在默认端口1234上运行。
- 在LM Studio中加载模型。
- 如果您选择本地运行(不使用
uvx
),请启动LMStudio-MCP服务器:python lmstudio_bridge.py
- 在Claude中,当提示选择MCP服务器时,选择“lmstudio-mcp”进行连接。
可用功能
该桥梁提供如下功能:
health_check()
: 验证LM Studio API的可访问性list_models()
: 获取LM Studio中所有可用模型的列表get_current_model()
: 确认当前加载的模型
: 利用本地模型生成文本chat_completion(prompt, system_prompt, temperature, max_tokens)
已知限制
- 某些模型(例如:phi-3.5-mini-instruct_uncensored)可能存在兼容性问题。
- 桥梁当前仅支持使用LM Studio的OpenAI兼容API端点。
- 模型的应答能力会受到您本地加载模型的限制。
疑难解答
API连接问题
如果Claude报告连接到LM Studio时出现404错误,请检查以下步骤:
- 确保LM Studio运行正常且已加载模型。
- 检查LM Studio的服务器是否在端口1234运行。
- 确认防火墙未阻止连接。
- 如果问题仍然存在,尝试将API URL从 "localhost" 更改为 "127.0.0.1"。
模型兼容性
如果某些模型无法正常工作:
- 某些模型可能不完全支持OpenAI的聊天补全API格式。
- 对于有问题的模型,尝试不同的参数值(temperature, max_tokens)。
- 考虑切换到更兼容的模型以解决问题。
详细的疑难解答帮助请参见TROUBLESHOOTING.md。
授权许可
本项目采用MIT许可协议开放源代码。
致谢
该项目最初作为“Claude-LMStudio-Bridge_V2”开发,现已重命名为“LMStudio-MCP”并开源。
以上即为LMStudio-MCP项目的详细介绍。如果您希望通过Claude使用本地的LLM模型,LMStudio-MCP会是一个理想的解决方案,允许您在本地环境中保留数据私密性的同时,享受最先进语言模型带来的创新和效率提升。此项目在研究、企业及教育领域中都存在广泛的应用潜力,期待您的尝试与贡献。