Docker on Jermineの博客

基于Docker部署ceph分布式文件系统[MImic13.2

Thu, 24 Jan 2019 15:32:11 +0800

本文记录了基于docker部署最新ceph版本的多节点高可用测试详尽过程，切身体会比ceph-deploy方便得多，希望能给初次接触ceph的同学提供些许参考。

Linux安装Nvidia Docker

Wed, 26 Dec 2018 18:14:00 +0800

注意： 由于程序运行于容器之中，所以镜像中一般都是带有CUDA、CUDNN库的，因此只需要在docker所在的主机上安装显卡驱动即可，无需费太大力气去安装cuda、cuddn之类的东西。

本地服务器搭建Harbor

Mon, 10 Dec 2018 17:38:45 +0800

Unix下安装Harbor镜像仓库

harbor的官方安装指南介绍了harbor有三种安装方式，分别是在线安装、离线安装和OVA安装，本文主要采用离线安装的方式。

官方文档上面说明需要依赖Python 2.7或以上版本，Docker引擎1.10以上，还有Docker Compose 1.6.0或以上版本，openssl。

LDAP集成多个系统配置截图

Fri, 07 Dec 2018 09:47:45 +0800

多个系统基于LDAP用户认证

OpenLDAP是一个集中的用户账号管理系统。使用轻量级目录访问协议（LDAP）构建集中的身份验证系统可以减少管理成本，增强安全性，避免数据复制的问题，并提高数据的一致性。

关于Docker远程连接

Thu, 29 Nov 2018 11:24:37 +0800

非安全的连接方式

先介绍 非安全 的连接方式。

服务端配置

CoreOS 请使用第二种方法，其他 Linux 系统配置时选择以下两种方法之一

通常的配置方法

docker.service 中 dockerd 的 -H 参数不能与 daemon.json 中的 hosts 键值对冲突。(其他参数同理)

新建 /etc/systemd/system/docker.service.d/docker.conf 文件。

使用dotnet core通过docker部署一个基于微服务的demo应用

Tue, 27 Nov 2018 13:25:20 +0800

使用dotcore通过docker部署一个基于微服务的demo应用

架构概述

这个参考应用程序在服务器和客户端是跨平台的，这要归功于.NET Core服务能够在Linux或Windows容器上运行，具体取决于您的Docker主机，以及Xamarin用于在Android，iOS或Windows / UWP plus上运行的移动应用程序客户端Web应用程序的任何浏览器。该体系结构提出了一种面向微服务的体系结构实现，具有多个自治微服务（每个都拥有自己的数据库/ db），并在每个微服务中实现不同的方法（简单的CRUD与DDD / CQRS模式），使用Http作为客户端应用程序之间的通信协议。微服务和支持异步通信，用于基于集成事件和事件总线（轻量级消息代理，在RabbitMQ或Azure Service Bus之间进行选择，跨多个服务）进行数据更新传播。

Nvidia Docker可以指定GPU以及数量

Fri, 23 Nov 2018 18:17:44 +0800

docker可以指定GPU以及数量操作如下：

docker调用GPU时可以明确指定用哪一张显卡，同时也可以指定数量

实时数据库InfluxDB的使用

Fri, 07 Sep 2018 14:00:54 +0800

InfluxDB介绍：

InfluxDB是一个开源的时序数据库，使用GO语言开发，特别适合用于处理和分析资源监控数据这种时序相关数据。而InfluxDB自带的各种特殊函数如求标准差，随机取样数据，统计数据变化比等，使数据统计和实时分析变得十分方便。在我们的容器资源监控系统中，就采用了InfluxDB存储cadvisor的监控数据。本文对InfluxDB的基本概念和一些特色功能做一个详细介绍，内容主要是翻译整理自官网文档，如有错漏，请指正。

Linux [re]install CUDA - Linux 安装和使用 CUDA

Fri, 24 Aug 2018 13:48:25 +0800

简便安装方法

此文档来源于Jermine的个人blog ： https://jermine.vdo.pub/linux/ubuntu-16.04-reinstall-cuda/

Build Opencv3.4 by docker in Raspberry pi - 在树莓派上通过docker编译opencv3.4.1

Thu, 21 Jun 2018 15:31:01 +0800

采用docker编译如下：

为了能在docker执行的时候加速，采用了--build-arg参数，设定了代理地址

在X86上编译如下：

docker build –build-arg HTTP_PROXY=http://192.168.16.254:1080 –build-arg HTTPS_PROXY=http://192.168.16.254:1080 -t jermine/opencv:alpine -f Dockerfile.alpine .

在ARM64上编译操作如下

docker build -t jermine/opencv:alpine-arm64-3.4.1 -f Dockerfile.alpine –build-arg HTTP_PROXY=http://192.168.16.254:1080 –build-arg HTTPS_PROXY=http://192.168.16.254:1080 .

环境变量配置如下：

export OPENCV_DIR=/opt/opencv
export LIBGPUARRAY_DIR=/opt/libgpuarray
export NUM_CORES=8
export NB_UID=1000
export CLONE_TAG=1.0
export OPENCV_VERSION=3.4.1
export OPENCL_ENABLED=OFF

需要的库如下：

apt install g++ python3 python3-dev build-essential cmake pkg-config libprotobuf-dev protobuf-compiler libopencv-dev


wget https://bootstrap.pypa.io/get-pip.py 

python3 get-pip.py

Cmake的配置如下：

    
    -D BUILD_opencv_xfeatures2d=OFF \
    -D BUILD_opencv_world=OFF \

    cmake \
    -D PYTHON_EXECUTABLE=$(which python3) \
    -D WITH_CUDA=OFF \
    -D CMAKE_BUILD_TYPE=RELEASE \
    -D BUILD_PYTHON_SUPPORT=ON \
    -D CMAKE_INSTALL_PREFIX=/usr/local \
    -D INSTALL_C_EXAMPLES=ON \
    -D INSTALL_PYTHON_EXAMPLES=ON \
    -D BUILD_PYTHON_SUPPORT=ON \
    -D BUILD_NEW_PYTHON_SUPPORT=ON \
    -D PYTHON_DEFAULT_EXECUTABLE=$(which python3) \
    -D PYTHON_INCLUDE_DIR=/usr/include/python3.5m \
    -D PYTHON_LIBRARY=/usr/lib/arm-linux-gnueabihf/libpython3.5m.so \
    -D PYTHON3_NUMPY_INCLUDE_DIRS=/usr/lib/python3/dist-packages/numpy/core/include \
    -D OPENCV_EXTRA_MODULES_PATH=$OPENCV_DIR/opencv_contrib-$OPENCV_VERSION/modules \
    -D WITH_TBB=ON \
    -D WITH_PTHREADS_PF=ON \
    -D WITH_OPENNI=OFF \
    -D WITH_OPENNI2=ON \
    -D WITH_EIGEN=ON \
    -D BUILD_DOCS=ON \
    -D BUILD_TESTS=ON \
    -D BUILD_PERF_TESTS=ON \
    -D BUILD_EXAMPLES=ON \
    -D WITH_OPENCL=$OPENCL_ENABLED \
    -D USE_GStreamer=ON \
    -D WITH_GDAL=ON \
    -D WITH_CSTRIPES=ON \
    -D ENABLE_FAST_MATH=1 \
    -D WITH_OPENGL=ON \
    -D WITH_QT=OFF \
    -D WITH_IPP=ON \
    -D WITH_FFMPEG=ON \
    -D WITH_V4L=ON .. && \
    make -j4 && \
    make install && \
    ldconfig && \

具体参照我的Github源码

地址为： https://github.com/JermineHu/docker-opencv

Docker中使用深度学习框架并支持GPU加速

Wed, 23 Aug 2017 15:40:16 +0800

Docker中使用深度学习框架并支持GPU加速

启动一个支持gpu的容器

docker run --runtime=nvidia --restart=always --name tensorflow  -dit -v `pwd`:/app -w /app  nvidia/cuda:9.0-cudnn7-runtime-ubuntu16.04

进入容器

docker exec -it tensorflow bash

设置源


Jermine@ubuntu:~$ cat > /etc/apt/sources.list

deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
##测试版源
deb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse

更新源

sudo apt-get update

安装相关依赖

# 导入环境变量
 TENSORFLOW_VERSION=1.7.0 
 
 apt-get update -y  && apt-get install -y --no-install-recommends python3 python3-pip  protobuf-compiler;\
    pip3 install --upgrade pip ;\
    python3 -V && pip3 -V ;\
    pip3  --no-cache-dir install setuptools  ;\
    pip3 --no-cache-dir install  \
    https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow_gpu-${TENSORFLOW_VERSION}-cp35-cp35m-linux_x86_64.whl ;\
    apt-get autoremove && apt-get autoclean ;\
    rm -rf /var/lib/apt/lists/*

测试程序

import numpy as np
np.random.seed(0)
import tensorflow as tf
import time

N,D = 6000,8000

with tf.device('/cpu:0'):
    x = tf.placeholder(tf.float32)
    y = tf.placeholder(tf.float32)
    z = tf.placeholder(tf.float32)

    a = x * y
    b = a + z
    c = tf.reduce_sum(b)

grad_x, grad_y, grad_z = tf.gradients(c, [x,y,z])

start_time = time.time()
with tf.Session() as sess:
    values = {
        x: np.random.randn(N, D),
        y: np.random.randn(N, D),
        z: np.random.randn(N, D),
    }
    out = sess.run([c, grad_x, grad_y, grad_z],
                   feed_dict=values)
    c_val, grad_x_val, grad_y_val, grad_z_val = out
elapsed = time.time() - start_time
print(time.strftime("%H:%M:%S", time.gmtime(elapsed)))
print("exit 0")

将其存为 test_gpu_for_tensorflow.py ，使用 python3 test_gpu_for_tensorflow.py 执行结果如下：

Setup Docker for Pi - 树莓派安装docker

Tue, 11 Jul 2017 16:05:54 +0800

安装步骤

先下载对应的deb包：

wget https://download.docker.com/linux/ubuntu/dists/bionic/pool/stable/arm64/docker-ce_18.06.0~ce~3-0~ubuntu_arm64.deb

通过dpkg进行安装

直接 dpkg -i *.deb 进行安装

然后设置开机启动

systemctl enable docker

配置镜像加速：

cat > /etc/docker/daemon.json
{
    "registry-mirrors": [
        "https://2nmcv9vp.mirror.aliyuncs.com"
    ],
    "insecure-registries": []
}

重启服务

systemctl restart docker

Call Opencv Used Python3 - 通过docker在python3.6下调用opencv3.4.1

Wed, 21 Jun 2017 15:46:06 +0800

根据之前build好的镜像，启动容器

启动一个带有python3.6 和 opencv3.4.1的环境

docker run -itd --name cv -v `pwd`/app:/app --net host -w /app jermine/opencv:alpine-arm64

进入容器

docker exec -it cv sh

Certificate Signed by Unknown Authority Error

Sat, 13 May 2017 16:21:51 +0800

Certificate signed by unknown authority error

x509: certificate signed by unknown authority This error message means that you do not have a trusted certificate. You need to trust the default certificates generated during your Docker Trusted Registry (DTR) installation.

You can do so by running these commands on the nodes from where you want to access your DTR (be sure to replace with your DTR Domain name.):

CentOS/RHEL

export DOMAIN_NAME=hub.fi.vdo.pub
export TCP_PORT=443
openssl s_client -connect $DOMAIN_NAME:$TCP_PORT -showcerts </dev/null 2>/dev/null | openssl x509 -outform PEM | sudo tee /etc/pki/ca-trust/source/anchors/$DOMAIN_NAME.crt
update-ca-trust
systemctl restart docker.service

Ubuntu

GDB in Docker for Debug - 如何在Docker容器内部使用gdb进行debug

Wed, 08 Mar 2017 10:02:33 +0800

安全计算模式（secure computing mode，seccomp）是 Linux 内核功能，可以使用它来限制容器内可用的操作。

Docker 的默认 seccomp 配置文件是一个白名单，它指定了允许的调用。

Make an Alpine Docker Image

Sat, 21 May 2016 16:14:53 +0800

步骤：

运行如下代码获取基础镜像

docker pull jermine/alpine

Dockerfile 源码参考：https://github.com/JermineHu/docker-alpine-armhf

基于基础镜像可以安装alpine是所有软件，然后构建一个运行环境，比如

在docker中搭建Samba服务器

Sun, 20 Mar 2016 12:13:19 +0800

在docker中搭建Samba服务器

要是想把容器的权限与宿主主机的用户权限一致的话，则只需要把用户和组文件映射到容器里面即可：

docker run --restart=always -d --name samba -p 139:139 -p 445:445 -v /data/samba_server:/share -v /etc/passwd:/etc/passwd:ro -v /etc/group:/etc/group:ro dperson/samba -s "lnh;/share/;yes;no;no;all;none"

如果只是设置账户直接访问可以直接run：

K8s on Raspberry Pi

Sat, 21 Oct 2017 16:20:55 +0800

配置环境步骤如下：

安装kubeadm必要的软件

apt install socat ebtables ethtool

安装相关的软件

主要软件有：

kubeadm_1.10.2-00_arm64 、kubectl_1.10.2-00_arm64 、kubelet_1.10.2-00_arm64 、kubernetes-cni_0.6.0-00_arm64

autossh SSH 反向隧道：从 Docker 到 Kubernetes 部署

Wed, 20 May 2026 00:00:00 +0000

背景

在内网环境中，经常需要将本地服务暴露到远程服务器上，常见场景如：

本地开发环境需要被外部访问
内网服务需要通过跳板机访问
Kubernetes 集群服务需要临时暴露到外部网络

使用 SSH 反向隧道（-R 参数）可以将本地端口映射到远程服务器端口，而 autossh 则能自动保持 SSH 连接稳定，在断线时自动重连。

Docker on Jermineの博客

基于Docker部署ceph分布式文件系统[MImic13.2

Linux安装Nvidia Docker

本地服务器搭建Harbor

Unix下安装Harbor镜像仓库

LDAP集成多个系统配置截图

多个系统基于LDAP用户认证

关于Docker远程连接

非安全的连接方式

服务端配置

通常的配置方法

使用dotnet core通过docker部署一个基于微服务的demo应用

使用dotcore通过docker部署一个基于微服务的demo应用

架构概述

Nvidia Docker可以指定GPU以及数量

docker可以指定GPU以及数量操作如下：

实时数据库InfluxDB的使用

InfluxDB介绍：

Linux [re]install CUDA - Linux 安装和使用 CUDA

简便安装方法

推荐两种玩法：

Build Opencv3.4 by docker in Raspberry pi - 在树莓派上通过docker编译opencv3.4.1

采用docker编译如下：

在X86上编译如下：

在ARM64上编译操作如下

环境变量配置如下：

需要的库如下：

Cmake的配置如下：

具体参照我的Github源码

Docker中使用深度学习框架并支持GPU加速

Docker中使用深度学习框架并支持GPU加速

启动一个支持gpu的容器

进入容器

设置源

更新源

安装相关依赖

测试程序

Setup Docker for Pi - 树莓派安装docker

安装步骤

先下载对应的deb包：

通过dpkg进行安装

然后设置开机启动

配置镜像加速：

Call Opencv Used Python3 - 通过docker在python3.6下调用opencv3.4.1

根据之前build好的镜像，启动容器

进入容器

Certificate Signed by Unknown Authority Error

Certificate signed by unknown authority error

GDB in Docker for Debug - 如何在Docker容器内部使用gdb进行debug

Make an Alpine Docker Image

步骤：

运行如下代码获取基础镜像

在docker中搭建Samba服务器

在docker中搭建Samba服务器

K8s on Raspberry Pi

配置环境步骤如下：

安装kubeadm必要的软件

安装相关的软件

autossh SSH 反向隧道：从 Docker 到 Kubernetes 部署

背景