手把手教你使用astrbot搭建使用deepseek模型的QQ机器人
旧博客地址：《使用astrbot搭建使用deepseek模型的QQ机器人》 astrbot官网什么是 AstrBot？ AstrBot 是一个易于上手的多平台聊天机器人及开发框架。通过它，你能够在多种消息平台上部署一个支持大语言模型（LLM）的聊天机器人。并以此实现但不限于 AI 知识库问答、角色扮演、群聊管理、LLM Agent 等功能。它有如下特性 松耦合：AstrBot 历经 3 次大代码重构。每一次都在向着松耦合、模块化的方向迈进。目前，AstrBot 采用了事件总线和消息事件流水线的架构设计，实现近乎完全的模块化。 异步：AstrBot 采用了异步编程模型，使得 AstrBot 在处理多个消息平台的消息时，能够更加高效。 多消息平台部署：AstrBot 默认支持接入 QQ、QQ频道、微信。通过插件，还可以接入 Telegram 等任何消息平台。 完善的插件系统：AstrBot 提供了完善、及其易于上手的插件系统，你可以通过插件实现自己的功能。开发一个插件，只需要几行代码。 它是如何实现的？下面的拓扑图简述了 AstrBot 与插件、消息平台适配器、语言模型提...
datax
DataX简介DataX概述DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 datax源码地址：https://github.com/alibaba/DataX DataX支持的数据源DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图。 类型 数据源 Reader(读) Writer(写) 文档 RDBMS 关系型数据库 MySQL √ √ 读 、写 Oracle √ √ 读 、写 OceanBase √ √ 读 、写 SQLServer √ √ 读 、写 PostgreSQL √ √ 读 、写 DRDS √ √ 读 、写 Kingbase √ √ 读 、写 通用RDBMS(支持所有关系型数据库) √ √ 读 、写 阿里云数仓数据存储 ODPS √ √ 读 、写 ADB √ 写 A...
docker-compose
官方文档本文参考《docker-compose教程（安装，使用, 快速入门）》 Compose介绍Docker Compose是一个用来定义和运行复杂应用的Docker工具。一个使用Docker容器的应用，通常由多个容器组成。使用Docker Compose不再需要使用shell脚本来启动容器。Compose 通过一个配置文件来管理多个Docker容器，在配置文件中，所有的容器通过services来定义，然后使用docker-compose脚本来启动，停止和重启应用，和应用中的服务以及所有依赖服务的容器，非常适合组合使用多个容器进行开发的场景。 查看是否安装12docker compose versiondocker compose docker-compose文件结构和示例docker-compose文件结构docker-compose.yaml: 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162...
docekr入门
本文大部分参考《docekr入门,这一篇就够了》 docekr背景介绍什么是docekrDocker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可抑制的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器完全使用沙盒机制，相互之间不会存在任何接口。几乎没有性能开销，可以很容易的在机器和数据中心运行。最重要的是，他们不依赖于任何语言、框架或者包装系统。 小知识：沙盒也叫沙箱（sandbox）。在计算机领域指一种虚拟技术，而且多用于计算机安全技术。安全软件可以让它在沙盒中运行，如果含有恶意行为，则禁止程序的进一步运行，而这不会对系统造成任何危害。官网：https://www.docker.com/ Docker容器技术与虚拟机的区别Docker 容器技术和虚拟机（VM）都是实现资源隔离和环境一致性的技术，但它们的底层实现和特性有显著区别，主要体现在架构、性能、启动速度等方面。以下是两者的核心区别： 1. 架构原理 虚拟机（VM）： 基于硬件虚拟化，需要在宿主机（Host）上安装Hypervisor（如 VMware、KVM），每个虚拟机都包含...
工作流 定时同步
业务上的 爬虫的 文件的数据 graph LR 数据源-->定时同步; 定时同步-->Hive数仓; 定时同步工具 DataXhttps://github.com/alibaba/DataX 初始化个人开发环境创建开发目录 - 遵循规范 每个人的代码要在自己的目录下去开发 12345678910# 创建个人目录mkdir -p /zhiyun/lijinquancd /zhiyun/lijinquan# 创建5个功能目录# data - 存放数据文件# jobs - 存放datax的配置文件# sql - sql脚本# shell - shell脚本# python - python脚本mkdir data jobs sql shell python 存储的规范和要求按要求每个月存储一份历史数据, 至少保留24个月的版本数据 graph LR 源表-->|DataX|Hive-ODS; Hive-ODS-->2025-05; Hive-ODS-->2025-06; Hive-ODS-->2025-07-当月就覆盖; Hive-ODS-->2...
医药器械法规数据爬取
名词解释需求 法律法规知识库的建立 AI环境与知识库 扣子AI智能体应用与系统集成 功能需求：实现输⼊商品信息接⼝ , 提交商品后根据现有法律法规判断商品是否 %%{init: {"flowchart": {"useMaxWidth": true}}}%% graph LR 系统A-->AI平台; 系统B-->AI平台; 系统C-->AI平台; 其他-->A工平台; AI平台-->知识库; AI平台-->AI大模型; A工平台-->功能-判断商品是否符合知识库里的法律法规; 知识库-网站; 知识库-->文档-Word_Exce1_Cs; 网站-->爬虫; 爬虫-->RPA; 爬虫-->Python; 文档-word_Excel_CsV-->Pandas; AI大模型-->本地AI; AI大模型-->云AI; 法律法规数据爬取网站 国家药品监督管理局 https://www.nmpa.gov.cn/ylqx/index.html （爬取目标1） 国家药品监督管理局医疗器械技术审评中⼼ https://www.cmde.org.cn/index.html （爬取目标2）...
亚马逊商品需求
需求 打开亚马逊网址 根据制定的大类类目，去每个小类目下统计Best Sellers前100名产品的商品ID、标题、图片、价格、链接 把相应信息写进数据库 把本次写入的数据跟上次写入的数据做分析 把有新冲上来的链接、哪条链接调价的结果，发消息通知我 （短信/微信/钉钉/系统通知/QQ邮箱） 表设计1234567891011CREATE TABLE amazon_items ( id INT PRIMARY KEY AUTO_INCREMENT, -- 自增主键categories VARCHAR(64) COMMENT '分类', item_id VARCHAR(64) COMMENT '商品ID', title VARCHAR(255) COMMENT '标题', img_url VARCHAR(255) COMMENT '图片链接', price DECIMAL(8, 2) COMMENT '价格', link VARCHAR(255)...
frp+服务器:实现内网穿透
什么是frp frp开源地址 frp安装中文文档 frp下载地址（从 Github Release 页面下载最新版本。） frp 采用 C/S 模式，将 服务端部署在具有公网 IP 的机器上， 客户端部署在内网或防火墙内的机器上，通过访问暴露在服务器上的端口，反向代理到处于内网的服务。 在此基础上，frp 支持 TCP, UDP, HTTP, HTTPS 等多种协议，提供了加密、压缩，身份认证，代理限速，负载均衡等众多能力。此外，还可以通过 xtcp 实现 P2P 通信。 工具准备： 一台公网服务器，部署服务端 一台内网机器，部署客户端 frp软件：frps服务端+ frpc客户端 安装下载frp分别上传到服务器和内网机器，根据服务器和内网机器分别下载对应架构的frp版本 amd相当于x86，是64位指令的操作系统架构 arm64是64位精简指令的操作系统架构，特点低能耗，被广泛应用小设备和移动设备 服务端服务器解压frp1234tar -zxvf frp_0.63.0_linux_amd64.tar.gzmv frp_0.63.0_linux_am...
京东RPA爬虫
需求12345678910商品 ID item_id 商品链接 item_link 标题 item_title ⻔店名称 store 封⾯ cover_link 原价 original_cost 折扣价 discount_cost 品牌 brand 型号 type 评论数 comments mysql数据库建表1234567891011121314151617CREATE TABLE IF NOT EXISTS `jd_items` ( `id` INT NOT NULL AUTO_INCREMENT COMMENT '自增主键', `item_id` varchar(255) NOT NULL COMMENT '商品ID', `item_link` varchar(255) NOT NULL COMMENT '地址 http开头', `store` varchar(64) NOT NULL COMMENT '门店名称', `title` varchar(255) NOT NULL COM...
hexo博客部署云服务器
hexo博客部署云服务器安装需要的依赖1yum install -y curl-devel expat-devel gettext-devel openssl-devel zlib-devel 安装编译工具1yum install -y gcc perl-ExtUtils-MakeMaker package 检查Git是否安装1git --version 安装Git：已经安装过的可以跳过这一步1yum install git -y 添加用户并设置密码12useradd git passwd git 创建博客目录1mkdir /home/blog 给博客目录增加相应读写权限1chmod -R a+rw /home/blog 建立Git仓库1cd /home/git git init --bare blog.git 给Git目录增加相应读写权限1chmod -R a+rw /home/git 新建钩子文件1vim /home/git/blog.git/hooks/post-receive 在文件中添加1git --work-tree=/home/blog --gi...
