A Big Boy Blog - Tech Articls & Notes

Linux Zsh Conf

发表于 2018-10-08 | 分类于 Linux ， Zsh

Location

.zshrc

Alias

# Example aliases
# alias zshconfig="mate ~/.zshrc"
# alias ohmyzsh="mate ~/.oh-my-zsh

alias kapply="kubectl apply -f"
alias kdel="kubectl delete -f"
alias ll='ls -al'
alias la='ls -a'
alias gita='git add'
alias gitc='git commit'

Fluentd Basic

发表于 2018-10-08 | 分类于 ELK ， Fluentd

Basic

Fluentd可以分为客户端和服务端两种模块。客户端为安装在被采集系统中的程序，用于读取log文件等信息，并发送到Fluentd的服务端。

服务端则是一个收集器。在Fluentd服务端，我们可以进行相应的配置，使其可以对收集到的数据进行过滤和处理，并最终路由到下一跳。

下一跳可以是用于存储的数据库，如MongoDB, Amazon S3, 也可以是其他的数据处理平台，比如Hadoop。

端口说明

24230：Debug Agent
8888：以HTTP方式接受log消息
24240：接收其他Fluentd发送的log

Fluentd Regular Expression

发表于 2018-10-07 | 分类于 ELK ， Fluentd

实战

Example-1

数据源

[2013-03-29 07:21:55.483292] router - pid=14615 tid=7a93 fid=5354  DEBUG -- Request body: {"host":"api.vcap.me","stats":[{"response_latency":0,"request_tags":"BAh7BjoOY29tcG9uZW50SSIUQ2xvdWRDb250cm9sbGVyBjoGRVQ=","response_codes":{"responses_2xx":2},"response_samples":2}]}

表达式：/(?.∗) (?[^ ]) - (?[^ ]) (?[^ ]) (?[^ ]) (?[^ ]) – (?[^ ].)$/

存储到mongo结果

1
2

{ "_id" : ObjectId("516d31c415bb53374d000004"), "name" : "router", "pid" : "pid=14615", "tid" : "tid=7a93", "fid" : "fid=5354", "level" : "DEBUG", "info" : "Request body: {\"host\":\"api.vcap.me\",\"stats\":[{\"response_latency\":0,\"request_tags\":\"BAh7BjoOY29tcG9uZW50SSIUQ2xvdWRDb250cm9sbGVyBjoGRVQ=\",\"response_codes\":{\"responses_2xx\":2},\"response_samples\":2}]}",
 "time" : ISODate("2013-04-23T11:21:55Z") }

ELK Kuberntes Conf

发表于 2018-10-07 | 分类于 ELK ， Kuberntes

Description

整体架构

Elasticsearch
- 存储数据
Kibana
- 数据可视化
Fluentd
- Client收集数据
- Server接收Client的数据，并转发到Elasticsearch
Metricbeat
- 收集性能指标数据
- 替代方案：Heapster
Kube-state-metrics
- listens to the Kubernetes API server and generates metrics about the state of the objects

Elasticsearch

组成

Master
- intended for clustering management only, no data, no HTTP API
Client
- intended for document pre-processing during ingestion
Data
- intended for client usage and data

Fluentd

配置文件

Server

# Takes the messages sent over TCP
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match **>
  @id fluentd-server
  @type elasticsearch
  @log_level info
  include_tag_key true
  host elasticsearch
  port 9200
  logstash_format true
  index_name fluentd
  type_name fluentd

  <buffer>
    @type file
    path /var/log/fluentd/kubernetes.system.buffer
    flush_mode interval
    retry_type exponential_backoff
    flush_thread_count 2
    flush_interval 5s
    retry_forever
    retry_max_interval 30
    chunk_limit_size 2M
    queue_limit_length 4
    overflow_action block
  </buffer>
</match>

Client

containers.input.conf: |-
<source>
  @id fluentd-containers.log
  @type tail
  path /var/log/containers/*.log
  pos_file /var/log/es-containers.log.pos
  time_format %Y-%m-%dT%H:%M:%S.%NZ
  tag raw.kubernetes.*
  read_from_head true
  <parse>
    @type multi_format
    <pattern>
      format json          time_key time
      time_format %Y-%m-%dT%H:%M:%S.%NZ
    </pattern>
    <pattern>
      format /^(?<time>.+) (?<stream>stdout|stderr) [^ ]* (?<log>.*)$/
      time_format %Y-%m-%dT%H:%M:%S.%N%:z
    </pattern>
  </parse>
</source>

# Detect exceptions in the log output and forward them as one log entry.
<match raw.kubernetes.**>
  @id raw.kubernetes
  @type detect_exceptions
  remove_tag_prefix raw
  message log
  stream stream
  multiline_flush_interval 5
  max_bytes 500000
  max_lines 1000
</match>

output.conf: |-
# Enriches records with Kubernetes metadata
<filter kubernetes.**>
  @type kubernetes_metadata
</filter>

<match **>
  @type forward
  time_format %Y-%m-%dT%H:%M:%S.%N%:z
    <server>
      host fluentd-service
      port 24224
    </server>
  flush_interval 1s
</match>

Metricbeat

配置文件

注意：使用该配置文件，Kibana可以直接开启Kuberntes Dashboard（默认配置文件无法开启）

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: metricbeat-daemonset-config
  #  namespace: kube-system
  labels:
    k8s-app: metricbeat
data:
  metricbeat.yml: |-
    metricbeat.config.modules:
      # Mounted `metricbeat-daemonset-modules` configmap:
      path: ${path.config}/modules.d/*.yml
      # Reload module configs as they change:
      reload.enabled: true

    # To enable hints based autodiscover uncomment this:
    #metricbeat.autodiscover:
    #  providers:
    #    - type: kubernetes
    #      host: ${NODE_NAME}
    #      hints.enabled: true

    processors:
      - add_cloud_metadata:

    cloud.id: ${ELASTIC_CLOUD_ID}
    cloud.auth: ${ELASTIC_CLOUD_AUTH}

    output.elasticsearch:
      hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
      username: ${ELASTICSEARCH_USERNAME}
      password: ${ELASTICSEARCH_PASSWORD}
    setup.kibana:
      host: kibana-service
      setup.kibana.protocol: "http"
    setup.dashboards:
      enabled: true
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: metricbeat-daemonset-modules
  #  namespace: kube-system
  labels:
    k8s-app: metricbeat
data:
  system.yml: |-
    - module: system
      period: 10s
      metricsets:
        - cpu
        - load
        - memory
        - network
        - process
        - process_summary
        #- core
        #- diskio
        #- socket
      processes: ['.*']
      process.include_top_n:
        by_cpu: 5      # include top 5 processes by CPU
        by_memory: 5   # include top 5 processes by memory

    - module: system
      period: 1m
      metricsets:
        - filesystem
        - fsstat
      processors:
      - drop_event.when.regexp:
          system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib)($|/)'
  kubernetes.yml: |-
    - module: kubernetes
      metricsets:
        - node
        - system
        - pod
        - container
        - volume
      period: 10s
      host: ${NODE_NAME}
      hosts: ["localhost:10255"]
    - module: kubernetes
      metricsets:
        - state_node
        - state_deployment
        - state_replicaset
        - state_pod
        - state_container
        # Uncomment this to get k8s events:
        - event
      period: 10s
      host: ${NODE_NAME}
      hosts: ["kube-state-metrics:8080"]

Refer to

https://github.com/pires/kubernetes-elasticsearch-cluster

https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

Fluentd Conf

发表于 2018-10-07 | 分类于 ELK ， Fluentd

Syntax

Event structure

tag: 事件来自何处
time: 事件发生事件(原子时间)
record: log内容(json)

Processing Events

Filters
Labels
Buffers

Source

Fluentd支持多输入。每一个输入配置必须包含类型／type，比如tcp数据输入，或者http类型输入。type将指定使用的input plugin。

以下的示例中就定义了两个输入源，一个是从24224端口进入的tcp数据流，另一个是从9880端口进入的http数据。

# Receive events from 24224/tcp
# This is used by log forwarding and the fluent-cat command
<source>
  @type forward
  port 24224
</source>

# http://this.host:9880/myapp.access?json={"event":"data"}
<source>
  @type http
  port 9880
</source>

举例说明

tail

<source>
  @type tail
  path /var/log/httpd-access.log
  pos_file /var/log/td-agent/httpd-access.log.pos
  tag apache.access
  format apache2
</source>

配置tail，表示从日志文件的尾部开始读取；如果是新文件，则从头开始读。
重启后，从pos文件读取上次读取位置。

path：路径读取。可以指定多个路径“、“分离。（可以同时收集多个log日志，而不用在重新起一个source）
tag：The tag of the event
format：日志的格式

支持：regexp 和正则表达式

Example：Apache

1
2
3

# 读取日志文件apache的为以下字段:主机、用户、时间、方法、路径、代码、大小、推荐人和代理
format /^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$/
time_format %d/%b/%Y:%H:%M:%S %z

Example：syslog

1
2
3

# 读取syslog的输出文件(例如,/var/log/syslog)对下列字段:时间、主机，识别,和消息
format /^(?<time>[^ ]* [^ ]* [^ ]*) (?<host>[^ ]*) (?<ident>[a-zA-Z0-9_\/\.\-]*)(?:\[(?<pid>[0-9]+)\])?[^\:]*\: *(?<message>.*)$/
time_format %b %d %H:%M:%S

time_key：用来确定记录的时间戳。时间戳是当Fluentd读取记录是默认情况下使用的。
pos_file（必不可少）：Fluentd将记录它上次读到这个文件的位置。

Example

1	pos_file /var/log/td-agent/tmp/access.log.pos

time_format：时间格式

Match

Match配置了数据流的匹配规则和匹配成功后所需执行的动作，和路由表项类似。

比如以下的配置中就对匹配myapp.access标签成功的数据包执行file类型动作，将数据写入到路径为/var/log/fluent/access的文件中。

# Match events tagged with "myapp.access" and
# store them to /var/log/fluent/access.%Y-%m-%d
# Of course, you can control how you partition your data
# with the time_slice_format option.
<match myapp.access>
  @type file
  path /var/log/fluent/access
</match>

Filter

System

Label

@include

Plugin

Fluentd有5种类型的插件，分别是：

Input：完成输入数据的读取，由source部分配置
Parser：解析插件
Output：完成输出数据的操作，由match部分配置
Formatter：消息格式化的插件，属于filter类型
Buffer：缓存插件，用于缓存数据

Route

Route指的是数据在Fluentd中的处理流水线，一般的流程为

input -> filter -> output
input -> filter -> output with label

即由输入插件获取数据，然后交给filter做处理，然后交给output插件去转发。同时，也支持数据包／事件的重新提交，比如修改tag之后重新路由等等。

reroute event by tags
reroute event by record content
reroute event to other label

https://docs.fluentd.org/v0.12/articles/routing-examples

Fluentd to Fluentd

Server

# Takes the messages sent over TCP
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match **>
  @id fluentd-server
  @type elasticsearch
  @log_level info
  include_tag_key true
  host elasticsearch
  port 9200
  logstash_format true
  index_name fluentd
  type_name fluentd

  <buffer>
    @type file
    path /var/log/fluentd/kubernetes.system.buffer
    flush_mode interval
    retry_type exponential_backoff
    flush_thread_count 2
    flush_interval 5s
    retry_forever
    retry_max_interval 30
    chunk_limit_size 2M
    queue_limit_length 4
    overflow_action block
  </buffer>
</match>

Client

containers.input.conf: |-
<source>
  @id fluentd-containers.log
  @type tail
  path /var/log/containers/*.log
  pos_file /var/log/es-containers.log.pos
  time_format %Y-%m-%dT%H:%M:%S.%NZ
  tag raw.kubernetes.*
  read_from_head true
  <parse>
    @type multi_format
    <pattern>
      format json          time_key time
      time_format %Y-%m-%dT%H:%M:%S.%NZ
    </pattern>
    <pattern>
      format /^(?<time>.+) (?<stream>stdout|stderr) [^ ]* (?<log>.*)$/
      time_format %Y-%m-%dT%H:%M:%S.%N%:z
    </pattern>
  </parse>
</source>

# Detect exceptions in the log output and forward them as one log entry.
<match raw.kubernetes.**>
  @id raw.kubernetes
  @type detect_exceptions
  remove_tag_prefix raw
  message log
  stream stream
  multiline_flush_interval 5
  max_bytes 500000
  max_lines 1000
</match>

output.conf: |-
# Enriches records with Kubernetes metadata
<filter kubernetes.**>
  @type kubernetes_metadata
</filter>

<match **>
  @type forward
  time_format %Y-%m-%dT%H:%M:%S.%N%:z
    <server>
      host fluentd-service
      port 24224
    </server>
  flush_interval 1s
</match>

Refer to

https://blog.csdn.net/hxpjava1/article/details/79447630

http://www.muzixing.com/pages/2017/02/05/fluentdru-men-jiao-cheng.html

Kubernetes Log Structure

发表于 2018-10-05 | 分类于 Kubernetes ， Log

Introduction

容器标准输出/标准错误日志路径：Docker Engine 会将所有容器的标准输出和标准错误日志落盘到Node节点的 /var/lib/docker/containers 路径，该路径中包含容器的元数据和日志文件。

By default, if a container restarts, the kubelet keeps one terminated container with its logs. If a pod is evicted from the node, all corresponding containers are also evicted, along with their logs.

https://kubernetes.io/docs/concepts/cluster-administration/logging/

Structure

Solution

k8s集群日志通用收集方案

集群内相关组件日志使用fluentd/filebeat收集
应用输出到标准输出或标准错误输出的日志使用fluentd/filebeat收集
应用输出到容器中指定文件日志使用fluent-bit/filebeat收集

Reference

MySQL Common Error

发表于 2018-10-03 | 分类于 DB ， MySQL ， Error

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.

查看数据的 timeout 设置 show global variables like ‘wait_timeout’
1
2
# 3600 sec = 60 min
wait_timeout 3600
druid

https://www.cnblogs.com/wangiqngpei557/p/10291606.html

‘Operation aborted: Failed to acquire lock due to max_num_locks limit’ from ROCKSDB

show global variables like 'rocksdb_max_row_locks'

# set global rocksdb_max_row_locks=2000000;

set session rocksdb_max_row_locks=2000000;

ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes

mysql的varchar主键只支持不超过767个字节或者768/2=384个双字节或者767/3=255个三字节的字段而GBK是双字节的，UTF8是三字节的。

https://cloud.tencent.com/developer/article/1005696

Reference

https://hacpai.com/article/1536248398959

Kubernetes ELK

发表于 2018-10-03 | 分类于 Kubernetes ， Solution

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

initContainers:
    - name: init-sysctl
    image: busybox
    imagePullPolicy: IfNotPresent
    command: ["sysctl", "-w", "vm.max_map_count=262144"]
    securityContext:
        privileged: true
containers:
    - name: es-master
    securityContext:
        capabilities:
        add:
        - IPC_LOCK
    image: gcr.io/tokyo-skein-217911/elasticsearch:6.4.0.1

“xxx” is forbidden: attempt to grant extra privileges

solution on GKE

Due to some reason the first character of the username was set to uppercase in Google Cloud/IAM settings, however the above command returned all characters in lowercase.

1
2
3

gcloud config get-value core/account

kubectl create clusterrolebinding cluster-admin-binding --clusterrole=cluster-admin --user="<case-sensitive-username>@gmail.com"

MySQL Connection Configuration

发表于 2018-10-03 | 分类于 DB ， MySQL ， Configuration

参数说明

skip-networking

开启该选项可以彻底关闭 MySQL 的 TCP/IP 连接方式，如果 WEB 服务器是以远程连接的方式访问MySQL数据库服务器则不要开启该选项！否则将无法正常连接！

skip-name-resolve

禁止 MySQL 对外部连接进行 DNS 解析，使用这一选项可以消除 MySQL 进行 DNS 解析的时间。但需要注意，如果开启该选项，则所有远程主机连接授权都要使用 IP 地址方式，否则 MySQL 将无法正常处理连接请求！

max_connections

max_connections 是指 MySql 的最大连接数，如果服务器的并发连接请求量比较大，建议调高此值，以增加并行连接数量，当然这建立在服务器能支撑的情况下，因为如果连接数越多，由于 MySQL 会为每个连接提供连接缓冲区，就会开销越多的内存，所以要适当调整该值，不能盲目提高设值。

max_user_connections

max_user_connections 是指每个数据库用户的最大连接针对某一个账号的所有客户端并行连接到 MYSQL 服务的最大并行连接数。简单说是指同一个账号能够同时连接到 mysql 服务的最大连接数。设置为 0 表示不限制。

max_connect_errors

设置每个主机的连接请求异常中断的最大次数，当超过该次数，MySQL 服务器将禁止 host 的连接请求，直到 mysql 服务器重启或通过 flush hosts 命令清空此 host 的相关信息

thread_handing

Mysql 服务中线程处理模式包括两种：

no-threads(单线程处理，多用于 debug)
one- thread-per-connection（每个请求对应一个线程，目前被作为默认值 )；

thread_cache_size

这个值表示可以重新利用保存在缓存中线程的数量, 当断开连接时如果缓存中还有空间, 那么客户端的线程将被放到缓存中, 如果线程重新被请求，那么请求将从缓存中读取。

如果缓存中是空的或者是新的请求，那么这个线程将被重新创建, 如果有很多新的线程，增加这个值可以改善系统性能. 因为当应用发起一个对数据库的操作时，在整个应用中是一个不小的开销，从建立连接之初，CPU 要给它划分一定的 thread stack，然后进行用户身份认证，建立上下文信息，最后请求完成，关闭连接，同时释放资源，可以称的上是秒级的过程。

在高并发的情况下，将给系统带来巨大的压力更不能保证性能。所以，采用线程重用，减小这部分的消耗。通过比较 Connections 和 Threads_created 状态的变量，可以看到这个变量的作用。

mysql> show status like 'thread%';
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| Threads_cached    | 649   | <—当前被缓存的空闲线程的数量
| Threads_connected | 93    | <—正在使用（处于连接状态）的线程
| Threads_created   | 742   | <—服务启动以来，创建了多少个线程
| Threads_running   | 5     | <—正在忙的线程（正在查询数据，传输数据等等操作）
+-------------------+-------+

查看开机起来数据库被连接了多少次？

mysql> show global status like '%connections%';
+-----------------------------------+---------------------+
| Variable_name                     | Value               |
+-----------------------------------+---------------------+
| Connection\_errors\_max_connections | 0                   |
| Connections                       | 101395055             |   <–服务启动以来，历史连接数
| Max\_used\_connections              | 742                 |
| Max\_used\_connections_time         | 2018-08-21 15:42:38 |
+-----------------------------------+---------------------+

通过连接线程池的命中率来判断设置值是否合适？命中率超过90%以上, 设定合理。(Connections - Threads_created) / Connections * 100%

thread_stack

每个连接线程被创建时，MySQL给它分配的内存大小。当MySQL创建一个新的连接线程时，需要给它分配一定大小的内存堆栈空间，以便存放客户端的请求的 Query 及自身的各种状态和处理信息。当然如果遇到下面的错误提示就应该考虑增加这个值了。mysql-debug: Thread stack overrun 如:

1	java.sql.SQLException: Thread stack overrun: 5456 bytes used of a 131072 byte stack, and 128000 bytes needed. Use 'mysqld --thread_stack=#' to specify a bigger stack.

Connect_Timeout

字面上看意思是连接超时，指的是 MySQL 连接过程中握手的超时时间，在 5.0.52 以后默认为 10 秒，之前版本默认是 5 秒。

mysql的基本原理是有个监听线程循环接收请求，当有请求来时，创建线程（或者从线程池中取）来处理这个请求。由于 mysql 连接采用 TCP 协议，那么之前势必是需要进行TCP三次握手的。

TCP三次握手成功之后，客户端会进入阻塞，等待服务端的消息。服务端这个时候会创建一个线程 (或者从线程池中取一个线程) 来处理请求，主要验证部分包括host和用户名密码验证。host验证我们比较熟悉，因为在用grant命令授权用户的时候是有指定host的。用户名密码认证则是服务端先生成一个随机数发送给客户端，客户端用该随机数和密码进行多次 sha1 加密后发送给服务端验证。如果通过，整个连接握手过程完成。

由此可见，整个连接握手可能会有各种可能出错。所以这个 connect_timeout 值就是指这个超时时间了。可以简单测试下，运行下面的 telnet 命令会发现客户端会在 10 秒后超时返回。

$time telnet mysql\_ip\_addr port
$ time telnet 127.0.0.1 5051
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^\]'.
?
Connection closed by foreign
host.
real    0m5.005s #这里的5秒即mysql默认的连接超时
user    0m0.000s
sys 0m0.000s

Telnet 未退出前通过 show processlist 查看各线程状态可见，当前该连接处于授权认证阶段，此时的用户为“unauthenticated user”。

1	256 \| unauthenticated user \| localhost:60595 \| NULL \| Connect \| NULL \| Reading from net \| NULL

wait_timeout&interactive_timeout

等待超时，那MySQL等什么呢？确切的说是 MySQL 在等用户的请求 (query)，如果发现一个线程已经 sleep 的时间超过 wait_timeout 了那么这个线程将被清理掉，从文档上来看 wait_timeout 和 interactive_timeout 都是指不活跃的连接超时时间，而 interactive_timeout 针对交互式连接，wait_timeout 针对非交互式连接。

MySQL 连接线程启动的时候 wait_timeout 会根据是交互模式还是非交互模式被设置为这两个值中的一个。如果我们运行 MySQL -uroot -p 命令登陆到 MySQL，wait_timeout 就会被设置为 interactive_timeout 的值。如果我们在 wait_timeout 时间内没有进行任何操作，那么再次操作的时候就会提示超时，这是 MySQL client 会重新连接。

net_read_timeout
net_write_timeout
net_retry_count

如果 MySQL 服务端在读写数据时，出现连接中断，会重试 net_retry_count 指定的次数。在系统 FreeBSD 中有效，Linux 中只有在 build 的时候指定 NO_ALARM 参数时 net_retry_count 才会起作用。

小结

connect_timeout在获取连接阶段（authenticate）起作用，interactive_timeout 和 wait_timeout 在连接空闲阶段（sleep）起作用，而net_read_timeout和net_write_timeout则是在连接繁忙阶段（query）起作用。

获取MySQL连接是多次握手的结果，除了用户名和密码的匹配校验外，还有 IP->HOST->DNS->IP 验证，任何一步都可能因为网络问题导致线程阻塞。为了防止线程浪费在不必要的校验等待上，超过connect_timeout的连接请求将会被拒绝。
即使没有网络问题，也不能允许客户端一直占用连接。对于保持 sleep 状态超过了 wait_timeout（或 interactive_timeout，取决于 CLIENT_INTERACTIVE 标志）的客户端，MySQL 会主动断开连接。

即使连接没有处于 sleep 状态，即客户端忙于计算或者存储数据，MySQL 也选择了有条件的等待。在数据包的分发过程中，客户端可能来不及响应（发送、接收、或者处理数据包太慢）。为了保证连接不被浪费在无尽的等待中，MySQL 也会选择有条件（net_read_timeout 和 net_write_timeout）地主动断开连接。比如我在客户端用 load data infile 的方式导入很大的一个文件到数据库中，然后中途用 iptables 禁用掉 mysql 的 3306 端口，这个时候服务器端该连接状态是 reading from net，在等待 net_read_timeout 后关闭该连接。同理，在程序里面查询一个很大的表时，在查询过程中同样禁用掉端口，制造网络不通的情况，这样该连接状态是 writing to net，然后在 net_write_timeout 后关闭该连接。

Refer to

MySQL 连接机制浅析及运维：https://hacpai.com/article/1536248398959

MySQL View Status

发表于 2018-10-03 | 分类于 DB ， MySQL

Command

1	show global status # 输出所有记录的状态

1	show global status like '%xxxx%' # 输出记录带有xxx关键字的状态，show global status like ‘thread%’

Status

Connection

Aborted_clients
- 由于客户端没有正确关闭连接导致客户端终止而中断的连接数。如，客户端和服务端建立连接好之后，等待 wait_time 时间后，客户端和服务器之间的连接自动退出，此时会发现 Aborted_clients 计数器加 1。

Aborted_connects
- 试图连接到 MySQL 服务器而失败的连接数。如:telnet 127.0.0.1 3306，然后什么都不做，ctrl+]，quit 退出，就会发现 aborted_connects 计数器加 1。

connections
- 试图连接到 (不管成功与否)MySQL 服务器的连接数计数。

Bytes_received
- 从所有客户端接收到的字节数。

Bytes_sent
- 发送给所有客户端的字节数。

Threads_cached
- 代表当前此时此刻线程缓存中有多少空闲线程。

Threads_connected
- 代表当前已建立连接的数量，因为一个连接就需要一个线程，所以也可以看成当前被使用的线程数。

Threads_created
- 创建用来处理连接的线程数。如果 Threads_created 较大，则需要增加 thread_cached_size 的值。

Threads_running
- 代表当前激活的（非睡眠状态）线程数。

Refer to

https://hacpai.com/article/1536248398959

Jason - sulang357159@163.com

RSS

Location

Alias

Basic

端口说明

实战

Example-1

Description

整体架构

Elasticsearch

组成

Fluentd

配置文件

Metricbeat

配置文件

Refer to

Tag

Syntax

Event structure

Processing Events

Source

举例说明

Match

Filter

System

Label

@include

Plugin

Route

Fluentd to Fluentd

Server

Client

Refer to

Introduction

Structure

Solution

Reference

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.

‘Operation aborted: Failed to acquire lock due to max_num_locks limit’ from ROCKSDB

ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes

Reference

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

“xxx” is forbidden: attempt to grant extra privileges

参数说明

小结

Refer to

Command

Status

Connection

Refer to