Gitlab在2022年中的改版後就沒有對self-managed版做出太多限制了，但部分更近一步的功能只有在Gitlab host的付費版上或是訂閱企業方案後才能使用，其中自架的好處在於不會受到容量以及跑CI的時間上限影響

Install

注意剛架好他就可以吃超過6G的ram，所以如果你的電腦或是NAS可用的ram空間很小的話就不建議嘗試

他有分為付費的企業版以及免費版，今天示範的會是免費版

Docker

docker container run -dit -p 8080:5000 -p 8000:8000 --tmpfs /opt/omd/sites/cmk/tmp:uid=1000,gid=1000 -v monitoring:/omd/sites --name monitoring -v /etc/localtime:/etc/localtime:ro --restart always checkmk/check-mk-raw:2.1.0p18

如果要監控別台電腦的話也得在那台電腦上跑一樣的container來當checkmk-agent

Base Package

不論要部署的是哪個framework的model都需要先安裝

pip install mlserver

(Optional) Runtime Packages

還要在根據要serve的模型framework安裝不同類型的套件，像是sklearn就要裝

pip install mlserver-sklearn

至於要安裝哪個套件在Github的REAME上有個完整的對照表

只有付費版才是訂閱制的，主要提供的功能就是OCR以及定期幫你蒐集讚Arxiv等網站上公開的指定主題論文

Install

如果還不想安裝的話可以先嘗試一下demo版，開始安裝前要注意存放data的路徑必須是container有讀寫權限的才行，不然在啟動之後就會報錯

mkdir ${DATA_PATH}
sudo chown 33:33 ${DATA_PATH}

For Python and Colab

pip install evidently

For Jupyterlab

$ jupyter nbextension install --sys-prefix --symlink --overwrite --py evidently
$ jupyter nbextension enable evidently --py --sys-prefix

Quick Example

下面用四個小部分來快速演示一下這個套件能做到什麼樣的效果

Import Dataset and Packages

import pandas as pd

from sklearn import datasets

from evidently.test_suite import TestSuite
from evidently.test_preset import DataStabilityTestPreset

from evidently.report import Report
from evidently.metric_preset import DataDriftPreset

iris_data = datasets.load_iris(as_frame='auto')
iris_frame = iris_data.frame

Run Test and Get Report

這裡快速比較data中前60筆和後60筆的分佈有沒有差很多，預設的column名稱會需要id, datetime, target, prediction，如果要改成不同的column名稱就得在column_mapping的地方帶入相對應的dictionary

data_drift_report = Report(metrics=[
    DataDriftPreset(),
])

data_drift_report.run(current_data=iris_frame.iloc[:60], reference_data=iris_frame.iloc[60:], column_mapping=None)
data_drift_report

Report的話在Jupyterlab會以互動的形式呈現，裡面可以選擇各種不同的preset來觀察資料或是模型

Save Reports to Other Format

可以把檔案存成HTML以方便不是用Jupyterlab或是colab開發的用戶做觀看，如果未來要用其他隻程式讀取的話也可以存成JSON檔

data_drift_report.save_html('report.html')
data_drift_report.save_json('report.json')

Features

目前提供的report preset大致分為底下幾種

Data Quality

data_stability= TestSuite(tests=[
    DataStabilityTestPreset(),
])
data_stability.run(current_data=iris_frame.iloc[:60], reference_data=iris_frame.iloc[60:], column_mapping=None)
data_stability

Data & Target Drift

如果資料在不同代之間的差異過大表示模型的準確度很可能會不夠可靠

Regression Model Quality

可以透過report來確認regression模型的準確度並查出不準的原因

reg_performance_report = Report(metrics=[
    RegressionPreset(),
])
reg_performance_report.run(reference_data=ref, current_data=bcur)
reg_performance_report

有給reference_data的話報告會產生十幾種的圖表，底下介紹一些我個人在實際ML Project中比較常會用到的

Real and Prediction Plot

這種圖有分成by datetime的與沒有by datetime，沒有by datetime的圖就是scatter plot

如果沒有by datetime就會產生by index的，通常by index的圖會比較看不出關係

還有一種是可以透過個別feature去檢查預測的結果

Residual Plot

這種圖只有by datetime的

也有percentage版

Error Distribution

Summary

最大的好處在於使用非常少的code就能夠去觀察資料以及衡量資料、模型的穩定性，算是一個在ML專案前期以及上線後都會需要的套件

目前資料的檢測還不包含outlier的detection，算是一個小小美中不足的地方，如果未來補齊了就能快速觀察每套到手上的資料

Reference

What is Evidently? - Evidently Documentation

Evidently AI - Open-Source Machine Learning Monitoring

安裝非常簡單但是得直接裝在Linux上(試玩的話建議在VM中)，安裝過程中會檢查有沒有裝好docker，沒有的話就會順便幫你裝

$ curl -O https://kasm-static-content.s3.amazonaws.com/kasm_release_1.12.0.d4fd8a.tar.gz
$ tar -xf kasm_release*.tar.gz
$ sudo bash kasm_release/install.sh

等到安裝完就會看到他在後台跑了很多container及預先下載一堆image(這也導致網路很慢的話會跑超久)，所以建議電腦或是虛擬機的效能不可以太差

可以自己架或是使用它host好的服務，由於他是開源的專案所以自己架是免費的

Install

官方宣稱是所有同類工具中最好安裝的一個，底下就示範幾種不同的安裝方式

Price

雖然是開源軟體但還是完整功能還是得付訂閱費才能使用

如果需要額外的算力還要加付相對應的VM費用

SonarQube官方有提供非常多種的安裝方式，個人會私心推薦好管理的docker compose

Docker Compose

這裡使用官方給的範例docker-compose.yml，用的是community版及postgres當作DB

Glances有提供非常多種的安裝方式像是snap, docker, pip等，能夠有助於使用者在各類型的server上都能監控狀態

PyPi

預設安裝的版本是不帶web GUI的，如果會用到web GUI要改裝另外一個版本

pip install --user glances
pip install --user 'glances[web]'

和baserow一樣有付費方案，但目前自架的免費方案看起來比baserow大方一些(允許用的功能更多一些)

Install

注意要自架的話官方會建議硬體需求至少要給到4vCPU以及8GB的ram

定價策略分成自架版以及雲端服務版

Hosted

他有提供免費的hosting服務，但當然是有限額的

Self-hosted

可以自己host但是不付費的話功能會受到限制

不論用哪種方式安裝起來都非常的方便，也有提供現成的OVA檔讓VM可以直接使用

Docker

可以用最簡單的指令來安裝，但是會使用sqlite來當作DB

docker run -d -p 8080:80 nextcloud

有鑑於只是拿來備份容器或是VM而不像PVE的定位是hypervisor，因此可以直接裝在VM內使用而不一定要裝在bare-metal上

Prepare ISO

要先到官網下載ISO檔並上傳到PVE的node上

Data center下的metrics server是PVE內建可以直接一次輸出cluster內所有node狀態的監控工具

Store Metrics

比較常見儲存PVE指標的方式有三種，不過其中只有兩種是官方預設支援的

InfluxDB

influxdb是PVE官方預設推薦的使用方式，開始蒐集metrics前需要先自備一台influxdb(可以參考之前的influxdb介紹系列)