git配置代理加速下载github的项目
一直以来有人说在国内clone和访问github的都很慢，各人一直没有太大的感觉，原因是长期挂着vpn通过公司的线路走，也常常是在公司使用github比较多，前一阵做一个私有项目用github私有库的时候也没有太多的感受，但是也不知道为什么是家用网络抽风还是运营商的其他原因，导致了在家里完全不能使用github了，特别是当在最近再弄的一个arm盒子的时候特别明显，由于需要自己编译一个包解决armb...
在Ubuntu下修改Docker默认的存储位置和mirror
最近在一个arm的盒子上涮了armbian这个Linux系统在家挂着做小型服务器用，自然需要docker做一些服务的部署，由于盒子自身的emmc比较有限，自然不能和云服务器一样处理将docker放在默认存储位置。这就需要修改docker的镜像、容器等文件的存储位置，同时由于docker.io在国内的反应速度非常慢自然需要register的注册，这里就记录下相关更改。一般来说docker的默...
Redis内存使用和大内存的排查方法
又是一个周末下班前发现线上接口报错，出错原因进过排查是使用了redis相关的接口，立马联想到redis可能出了问题，果不其然在redis上看到内存已经超出了设置的值，因此接口除了相关的问题。由此带来两个问题，也是我之所以也写这篇文章原因。问题一 当redis内存满了会怎么样？线上因为为什么会报错。首先redis是基于内存的keyvalue数据库，因为系统的内存大小有限，所以我们在使...
基于Mysql binlog恢复线上数据
周五晚上下班前正在赶着写一些重要的代码，突然两个同事跑过来和我说线上的程序炸了，因为其中一个同事自己导入数据到了线上生产环境的时候做了误操作导致重要数据库中一个非常重要的表数据丢失，并且数据结构损坏，当场炸了。其中一个同事尝试用了一个比较旧的数据库表数据暂时恢复了程序的可用性，但是将近一个月的数据丢失。由于之前的备份机制，仅仅每周做一次全量备份，所以最新的全量备份也在上周，如果贸然用全量数据恢复数...
ElasticSearch 修改算分和自定义排序
项目实际中需要满足如下搜索需求，根据用户输入的关键词从若干个字段中去去分词匹配，搜素出的结果要求根据该条数据的中的用户评分、收藏数去排序，同时要求精确匹配的放在第一条，由于景区匹配的数据的用户评分和收藏数未必是最高的，所以默认情况下根据用户评分和收藏数去排序精确匹配的数据是不会出现在第一条的，如果按照ElasticSearch算分来实现的话精确匹配的那条算分是最高的，但是排序是不正确的。在这里我的...
使用Metricbeat监控Mysql性能
继续上篇内容介绍Elastic stach中beats相关的东西，由于新上线的mysql没有监控服务，这里就做下如何使用metricbeat另外完成mysql性能指标收集和所在主机的性能指标收集。 安装metricbeat这次采用yum来安装，首先加入es官方yum的key sudo rpm import https://packages.elastic.co/GPGKEY...
通过ELK Statck进行nginx日志数据收集和分析
- Lokie.Wang
- 2020-06-13 22:24:53
- DevOps
- ElasticSea ELK
日志分析收集是维持线上系统稳定和分析线上应用数据非常重要的一项工作。nginx做为主流web服务器承载了后端API的大部分流量，特别是通过proxy_pass这种反向代理模式可以将访问代理给后端的Java、PHP、Golang、Python等各类型API使用，因此对nginx访问日志的分析和收集非常重要。本次来说下我们对于nginx日志的收集和分析是怎么做的。这里的方案主要是ELK Stack的方...
MySQL性能指标及计算方法
绝大多数MySQL性能指标可以通过以下两种方式获取：（1）mysqladmin使用mysqladmin extendedstatus命令获得的MySQL的性能指标，默认为累计值。如果想了解当前状态，需要进行差值计算；加上参数 relative(r)，就可以看到各个指标的差值，配合参数sleep(i)就可以指定刷新的频率。 mysqladmin h127.0.0.1 uro...
MySQLReplication GTID方式
由于需要迁移线上数据到一个新的Mysql服务器并且不影响在线业务，需要维持迁移过程中应用程序的大部分可用。因此不可能对线上的Mysql服务器进行停机处理，所采用的的方式也就是通过Replication的方式，保持主从复制，在逐步修改应用程序的链接数据，最后停掉主从来达到这个目的。由于应用上的微服务架构，不存在一个应用程序访问多个数据这个问题，所以当应用程序切换的时候数据是安全的。首先关于M...
Mysql线上生产环境常见配置
下面是对于Mysql线上生产环境的配置和一些基本的解释： client section used for "mysql", "mysqladmin" and similar command line clients. port = 3306 socket = /tmp/mysql.sock Just in case your...
