Redis内存使用和大内存的排查方法
又是一个周末下班前发现线上接口报错，出错原因进过排查是使用了redis相关的接口，立马联想到redis可能出了问题，果不其然在redis上看到内存已经超出了设置的值，因此接口除了相关的问题。由此带来两个问题，也是我之所以也写这篇文章原因。问题一 当redis内存满了会怎么样？线上因为为什么会报错。首先redis是基于内存的keyvalue数据库，因为系统的内存大小有限，所以我们在使...
基于Mysql binlog恢复线上数据
周五晚上下班前正在赶着写一些重要的代码，突然两个同事跑过来和我说线上的程序炸了，因为其中一个同事自己导入数据到了线上生产环境的时候做了误操作导致重要数据库中一个非常重要的表数据丢失，并且数据结构损坏，当场炸了。其中一个同事尝试用了一个比较旧的数据库表数据暂时恢复了程序的可用性，但是将近一个月的数据丢失。由于之前的备份机制，仅仅每周做一次全量备份，所以最新的全量备份也在上周，如果贸然用全量数据恢复数...
使用Metricbeat监控Mysql性能
继续上篇内容介绍Elastic stach中beats相关的东西，由于新上线的mysql没有监控服务，这里就做下如何使用metricbeat另外完成mysql性能指标收集和所在主机的性能指标收集。 安装metricbeat这次采用yum来安装，首先加入es官方yum的key sudo rpm import https://packages.elastic.co/GPGKEY...
通过ELK Statck进行nginx日志数据收集和分析
- Lokie.Wang
- 2020-06-13 22:24:53
- DevOps
- ElasticSea ELK
日志分析收集是维持线上系统稳定和分析线上应用数据非常重要的一项工作。nginx做为主流web服务器承载了后端API的大部分流量，特别是通过proxy_pass这种反向代理模式可以将访问代理给后端的Java、PHP、Golang、Python等各类型API使用，因此对nginx访问日志的分析和收集非常重要。本次来说下我们对于nginx日志的收集和分析是怎么做的。这里的方案主要是ELK Stack的方...
Windwos下IIS访问NFS映射的盘
之前做了一次关于分布是文件系统迁移，程序已经逐步的完成了改造，现在需要通过asp.net mvc下访问nfs映射出来的驱动器，但是发现有问题，不能访问到映射出来的驱动器，查找原因发现是因为应用程序池运行的账号可以没有权限，可以采用没有提权的本机账号进行，但是这样就要明文保存用户名和密码并且用户名和密码更改后会发生问题。读了微软的相关文档，发现是账号权限隔离的问题，也就是如果运行在netwo...
ngrok的应用
乘着疫情在家优化数据库和老程序遗留的各种性能问题，其中在处理一个线上诡异的Java程序运行缓慢，但是在本地非常好的情况下，想到需要调优一些参数，于是需要一个windows下的jvm，自然而然想到在线上装Windows系统进行调试，但是由于网络策略的缘故，无法访问远程桌面，甚至无法安装虚拟机。因此想到了使用ngrok这个内网穿透软件。ngrok是一个反向代理，它能够让你本地的web服务或tc...
文件服务迁移重构之Glusterfs安装配置和nfs-ganesha的配置
继续上一篇，本篇主要是将如何安装配置glusterfs以及通过配置nfsganesha来将glusterfs通过nfs导出，从而使得windows这样的不容易支持fuse的操作系统能够非常便利的通过mount nfs来使用glusterfs。本篇采用的操作系统是CentOS，其他操作系统，安装方式无非是通过寻找相应的源来安装或者通过源代码编译。而安装nfsganesha则是通过从源代码编译的方式。...
文件服务迁移重构之分布式文件系统Glusterfs基础
紧接之前的文章《文件服务迁移重构之分布式文件系统迁移和选型思路》在上篇中，我谈到最终对于分布式文件系统选型选择了Glusterfs这个文件系统，这篇主要谈下关于Glusterfs的基本概念和知识。1. 什么是Glusterfs Glusterfs是一种在Linux系统上的自有软件，全称Gluster File System 主要由Z RESEARCH 公司负责开发。 G...
mailx使用ssl方式发送邮件
同事再配置zabbix配置的时候需要发送邮件，由于公司邮件服务器是基于ssl的配置，因此需要配置下。非SSL的配置方法： set from="330145635@163.com" 设置发送邮箱 set smtp=smtp.163.com 设置邮件服务器（注意端口） set smtpauthuser="330145635@163.com" 设置邮件用户登录账号...
文件服务迁移重构之分布式文件系统迁移和选型思路
近期困扰公司招投标系统项目多年的文件存储量日益增大的问题又爆发了，由于法律的规定，这些文件必须长期保存10年以上。现有的服务器是基于windows server 2008R2的老系统，由于之前的规划问题，分区都已经接近满或者剩余的空间也无法放下足够的文件，存储的挂载也不是很合理。由于windows系统在这方面确实不行，因此思考后决定采用Linux去解决问题。原本仅仅想简单的将其中一台服务器重装操作...
