domingo, 30 de janeiro de 2022

Como configurar fácil seu DNS Local

Pessoal,

Hoje resolvi organizar uma coisa aqui na minha rede que estava incomodando há algum tempo.

Como disse em posts passados, os diversos serviços do meu servidor (Proxmox, OMV e Docker), além do Raspberry Pi com o Pi Hole correm em paralelo e são acessados através do IP do servidor utilizado, geralmente atrás de uma porta.

Isso causa um problema: é preciso memorizar todos os endereços de cada serviço, além das portas.

A minha primeira tentativa de resolver isso foi fixando abas do navegador para as páginas - pouco viável porque isso deixa as abas abertas e consome muito recurso da máquina.

Outra opção é criar "Favoritos". Funcionaria bem, mas precisaria inserir os endereços em cada computador ou dispositivos aqui de casa.

Então pensei: vou fazer uma intranet e publicar uma página para resolver isso. Também resolveria (na verdade resolveu, mas hoje resolvi avançar nisso).

Fuçando no Pi-Hole hoje, percebi uma configuração: Local DNS.

DNS (Domain Name System ou Sistema de Nomes de Domínio) é uma das grandes sacadas do povo que gerencia a internet. Em poucas palavras, cada computador em uma rede recebe um número de localização. Os servidores de DNS basicamente recebem o nome que a gente dá para um site (ex. www.google.com.br) e traduz para o sistema de direcionamento dos dados (142.251.33.67). Aí a requisição do dado é feita para esse endereço na rede (já falei disso aqui).

Assim como o DNS serve para internet, serve para intranet também. E é isso que que esse "Local DNS" do Pi Hole faz.

Entrando em Local DNS -> DNS Records, aparece isso aqui:


É isso mesmo que você está pensando: você vai associar o ip do seu equipamento ou do serviço com um nome que você cria.

Fica assim:


É só isso mesmo, bem simples. Mas tem umas pegadinhas.

Tentei usar o nome proxmox.local, mas não entrava de jeito nenhum. Sempre dava erro na hora de acessar o site.

A mesma coisa aconteceu com o domínio .home. Não rolou bem.

Para saber se o problema era de cache do navegador ou se era porque o Pi Hole não estava conseguindo resolver os nomes, abri o Terminal e digitava "ping <nome do domínio>".

Quando o Pi Hole consegue resolver, aparece assim:

Quando não consegue resolver, fica assim:


Esses erros podem ser por digitar o endereço errada (digite o endereço certo para resolver isso) ou porque o cache não está atualizado (nesse caso é só limpar o cache do navegador).

Por isso resolvi usar o domínio ".jaymebc". Além de ficar "personalizado", não confunde com .local ou .home.

Além disso, tem uma outra vantagem: eu escondo os IPs das minhas máquinas.

Um último detalhe: muitos serviços são acessados através de portas específicas (o Proxmox, por exemplo, é acessado por padrão pelo <IP>:8006. Assim, no meu caso, não adianta eu criar o nome proxmox.jaymebc simplesmente associando ele com 192.168.1.2:8006. Não funciona assim. Apenas os serviços acessados através das portas 80 e 443 são acessados sem precisar colocar a porta. Você tem que associar o nome com o endereço IP e, depois, colocar a porta. Assim, o acesso é através do proxmox.jaymebc:8006. Aí acessa a página. 

Bom, é isso por hoje. 

domingo, 23 de janeiro de 2022

OMV5 - Métricas de funcionamento do servidor com Pode Exporter, Prometheus e Grafana

 Pessoal,

O OpenMediaVault, pelo menos a versão 5, contem uma apresentação das métricas de funcionamento bem simples e feias, pelo menos para o meu gosto.

Para acessá-las, vá em Diagnostics -> System Information -> Performance statistics e escolha a métrica desejada: uso da CPU, dos discos, médias de trabalho, uso da memória e da rede e tempo de funcionamento.

Vejam alguns exemplos:


Não que sejam imprestáveis as métricas, mas eu acho que poderiam ser mais completas e com uma apresentação melhor. O OMV6 parece que terá uma melhora significativa (e necessária) na parte visual. Os betas mostram que será algo como a figura abaixo:


Bem melhor, né? Mas ainda vai demorar um tempo pra versão estável do OMV6 sair. Então, até lá, vamos ter que melhorar isso no OMV5.

Bom, dando uma pesquisada, encontrei uma solução interessante: são 3 conteineres do Docker que juntos coletam dados e produzem uma apresentação das métricas bem configurável e bem apresentável. A sequência é essa aqui:

1 - Instalar o Prometheus Node Exporter, responsável por coletar as métricas;

2 - Instalar o Prometheus. Ele coleta as métricas de alvos configurados (no caso, pelo Node Exporter) em determinados intervalos e exibe os resultados;

3 - Instalar o Grafana, que utilizará os dados do Prometheus e produzirá apresentações mais completas e bonitas.

Para realizar estas instalações, segui algumas dicas desse vídeo aqui. Caso precise dele no futuro, vou deixar ele disponibilizado aqui no blog, logo abaixo:


O autor do vídeo também tem um blog onde coloca algumas instruções para a instalação (veja aqui). Tentei fazer como ele orientou, mas tive que dar algumas adaptadas. Diga-se de passagem, os conteúdos dele no YT são muito bons! Vale a pena assistir e seguir o canal dele (aqui).

A primeira coisa a se fazer é criar um arquivo de configuração para o Prometheus (prometheus.yml). Primeira coisa a ser dita: esse arquivo deve estar no disco onde está armazenado o OMV (ou seja, no meu caso, o /sda). Assim, criei o arquivo dentro desta pasta:

# /srv/Configs/Prometheus/prometheus.yml

Para criar o arquivo, criei todo o caminho até o arquivo (/srv/Config/Prometheus) e lá dentro criei um arquivo vazio chamado "prometheus.yml" com o nano:

# /srv/Configs/Prometheus# nano prometheus.yml

Dentro do arquivo coloquei o seguinte texto:

global:

  scrape_interval: 5s

  external_labels:

    monitor: 'node'

scrape_configs:

  - job_name: 'prometheus'

    static_configs:

      - targets: ['192.168.1.3:9090'] ## IP Address do localhost. Direcione a porta para o seu contêiner

  - job_name: 'node-exporter'

    static_configs:

      - targets: ['192.168.1.3:9100'] ## IP Address do localhost

Interessante observar que os alvos (targets) devem ser o IP do seu servidor e você deve certificar-se que as portas escolhidas não estão sendo utilizadas por nenhum contêiner do Docker.

Agora vamos instalar o Prometheus Node Exporter.

Eu até tentei criar um arquivo para o Docker Compose, mas só foi funcionar mesmo com a boa e velha linha de comando:

# docker run -d  --net="host"  --pid="host"  -v "/:/host:ro,rslave"  quay.io/prometheus/node-exporter:latest  --path.rootfs=/host


Esta linha é, de um modo mais apresentável, isso aqui embaixo:
docker run -d \
  --net="host" \
  --pid="host" \
  -v "/:/host:ro,rslave" \
  quay.io/prometheus/node-exporter:latest \
  --path.rootfs=/host
Enfim, em poucos segundos ele instala e tudo está pronto. Um detalhe: se você for ao Portainer, verá que surgiu um contêiner com um nome estranho (o meu apareceu "unruffled_boyd", mas logo na frente do nome já aparece o nome da imagem (quay.io/prometheus/node-exporter:latest). Como tenho TOC, parei o contêiner e acrescentei o nome "node_exporter" e mandei funcionar novamente.

Para certificar-se que tudo está certo,  ao você ir na página que configurou para o Node Exporter lá no prometheus.yml, você deve encontrar isso aqui:


Ao clicar ali no Metrics, deve aparecer isso aqui:


Se apareceu uma extensa lista de coisas, então você está no caminho certo.

Agora vamos instalar o Prometheus. Pra isso, criei esse arquivo aqui no Docker Compose:


---

version: "2.1"

services:

   prometheus:

         image: prom/prometheus:latest

         container_name: prometheus

         ports:

             - '9090:9090' #modifique as portas caso necessário

         volumes:

             -'/srv/Configs/Prometheus/prometheus.yml:/etc/prometheus/prometheus.yml' #coloque o caminho da sua instalação

         restart: unless-stopped



Bom, se tudo deu certo aí, você conseguirá ver isso aqui acessando o endereço do seu servidor pela porta que configuramos aqui neste contêiner (no meu caso, 9090):


Pronto, essa é a página para configuração do Prometheus. Outra verificação importante é ir em Status -> Service Discovery:


E agora deveremos ver isso aqui:


Ou seja, nossos dois serviços instalados (o Node Exporter e o Prometheus) estão ativos e foram detectados.

Caso você seja masoquista e goste de usar a linha de comandos ao invés do Docker Compose, o comando para instalar o Prometheus é esse aqui (não tem que saltar linha, ok? é apenas a quebra automática do texto):

# docker run -d --name prometheus -p 9090:9090 -v /srv/Configs/Prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus:latest


O Prometheus, até onde percebi, não é nada simples para configurar. Para isso, usaremos o Grafana!

O Grafana é bem fácil também de instalar. O você usa a linha de comando com:

# docker run -d --name=grafana -p 3000:3000 grafana/grafana

Ou usa o Docker Compose com:


---

version: "2.1"

services:

   grafana:

     image: grafana/grafana:latest

     container_name: grafana

     ports:

       - 3000:3000 #modifique o 'primeiro' 3000 de acordo com sua necessidade

     restart: unless-stopped



Vá no endereço do seu servidor e digite a porta que você configurou (no meu caso: 192.168.1.3:3000) e você deverá encontrar isso:


Parabéns! Deu tudo certo!

Para configurar o Grafana, use admin como username e senha (e troque por uma senha forte depois). Na tela principal, clique em "Data Sources" e escolha "Prometheus". Em URL, digite o endereço do Prometheus com a porta escolhida (no meu caso: http://192.168.1.3:9090) e, no final da página, clique em "Save and Test".

Agora vá para aqui e escolha o dashboard que você quer usar. São milhares de opções, mas lembre-se de usar o filtro: Prometheus em Data Sources e Node Exporter em Collector Types. Após escolher o layout, anote o número que aparece à direita da tela ("Get This Dashboard"), volte ao Grafana, clique no "+" que está à esquerda da tela ("Create") e depois em "Import" e digite o número do dashboard que você escolheu.

Pronto, agora você tem um dashboard apresentável!




Mais um detalhe. Eu tenho 4 servidores rodando: um com Proxmox, um com um Ubuntu Server para diversas coisas (rodando em VM), um com o OMV (rodando também em VM) e o Raspberry Pi. Neste Dashboard, consigo ver as métricas dos 4 ao mesmo tempo. Para isso, faça o seguinte:
 
1 - instale o Node Exporter em cada um dos servidores usando o mesmo comando já comentado acima:

# docker run -d  --net="host"  --pid="host"  -v "/:/host:ro,rslave"  quay.io/prometheus/node-exporter:latest  --path.rootfs=/host

2 - no servidor onde ficará o Prometheus (no meu caso, o 192.168.1.3), naquele arquivo que criamos (prometheus.yml), vamos acrescentar os endereços dos servidores com Node Exporter instalado. Ficará assim:

global:

  scrape_interval: 5s

  external_labels:

    monitor: 'node'

scrape_configs:

  - job_name: 'prometheus'

    static_configs:

      - targets: ['192.168.1.3:9090'] ## IP Address do localhost. Direcione a porta para o seu contêiner

  - job_name: 'node-exporter'

    static_configs:

      - targets: ['192.168.1.3:9100','192.168.1.44:9100','192.18.1.2:9100','192.168.1.22:9100'] ## IP Address do localhost

3 - Reinicie todos os conteineres (Prometheus e Grafana). Talvez seja necessário apagar o Dashboard anterior e refazê-lo (ao refazer, citaremos apenas o ip de onde está instalado o Prometheus, ou seja, 192.168.1.3:9090). Pronto!

Talvez seja necessário instalar o Docker em algum dos seus servidores. Para instalar, siga as instruções do site do Docker.

Depois de tudo pronto, ficou assim:


Pronto!

sábado, 22 de janeiro de 2022

Dica - Corrigindo erros de autorização de escrita/leitura em pastas compartilhadas no OMV

 Pessoal,

Acabei de deparar com um erro estranho no OMV.

Fui tentar copiar uma pasta para dentro de uma pasta compartilhada no OMV e apareceu esta mensagem:


Como assim não tenho autorização? Dentro de "Access Rights Management -> Shared Folders -> Privileges" está assim:


Vejam que meu user, jaymebc, tem autorização para leitura e gravação.

Entretanto, para resolver esse erro, mais um privilégio para o user tem que ser concedido. Assim, ainda em Shared Folders, vá em "ACL":


Certifique-se que a opção "Others" esteja configurada para "Read/Write/Execute".


Além disso, por estranho que pareça, ainda dentro de ACL, as configurações em "User/Group permissions" estavam desmarcadas para o root, mesmo ele sendo o proprietário da pasta... Confesso que não entendi como isso ocorreu.


Marquei os usuários como abaixo:

E agora deu certo:


Se quiser mais garantias de não ter problemas com isso novamente, ao invés de apenas marcar uma pasta individualmente, você pode realizar essa mesma ação selecionando o disco inteiro do NAS.

Bom, é isso.

terça-feira, 18 de janeiro de 2022

Dica - visualizando todas as mídias no Plex Server Media

Pessoal,

Já tentei instalar o Plex várias vezes e sempre era uma novela para os arquivos aparecerem.

Desta última vez que precisei refazer os backups (veja aqui), criei pastas compartilhadas para cada tipo de mídia (uma para filmes, uma para séries, etc). A idéia era facilitar a manipulação dessas conteineres do Docker (Radarr, Bazar, Sonarr, etc).

As pastas compartilhadas ficaram assim:


O interessante é que as pastas Desenhos, Documentários, Filmes e Séries, as pastas que vão para o Plex e para o Docker, estão fisicamente no mesmo disco, numa pasta "Arquivos Mídia", mas para o NAS compartilhei cada subdiretório como uma pasta compartilhada independente. Vejam que não tem uma pasta "Clipes". Esta pasta está dentro da pasta compartilhada "Mídias".

Magicamente, quando coloquei os endereços no contêiner do Plex, ele encontrou os Desenhos, Filmes, Séries e Documentários. Mas não encontrou os Clipes.

Veja aqui como está a nomeação das pastas no Docker:


Repare que os Clipes estão dentro de outra pasta, ao contrários dos outras pastas de mídia.

Quando acesso o Plex e vou selecionar as pastas, fica assim:

(vejam que dentro de Filmes tem várias pastas
de filmes; o Plex identifica isso corretamente)


(dentro da pasta Clipes também tem um monte de arquivos
e subpastas, mas nao funciona)


Bom, não sei qual a lógica disso, mas não funciona assim.

Tentei uma última cartada antes de ter que refazer essa pasta em especial: fui no OMV -> Access Rights Management -> Shared Folders e na pasta "Mídia" editei o ACL marcando "Recursive - Apply permissions to files and subfolders" e entro de Services -> SMB/CIFS -> Shares, na pasta "Mídias", marquei a opção "Enable permission inheritance". Mandei procurar novamente e... nada 😔.

No fim de semana eu crio essa pasta para disponibilizar os clipes no Plex. Ou deixo sem os clipes mesmo, não sei.

É isso! 

Erro total no OMV - Perdi todos os meus backups?

 Pessoal,

O caos se instalou aqui no meu NAS.


Os HDs, TODOS ELES! estão dando pau!!


Os discos sumiram do OMV, apesar de fisicamente conectados.

Num momento de desespero, eu já estava começando a pensar se valia a pena retornar para o TrueNAS, arriscar o XPEnology ou tentar o UnRaid. Dando uma procurada (veja aqui um resumo dos principais sistemas para NAS), até fiquei conhecendo o XigmaNAS (antigo NAS4Free, um fork do FreeNAS).

Até cheguei a começar esse post falando que iria apagar o OMV para nunca mais usar e por aí vai.

Antes de surtar completamente fui dar uma olhada mais cuidadosa nos discos e notei que o disco defeituoso que havia comentado anteriormente neste post estava conectado ao computador... Acho que fui tentar ver se realmente tinha dado pau e esqueci de desconectar. 😒

Ou seja, a porcaria ficou conectada e começou a travar todo o acesso do Proxmox, OMV e cópias. Foi só desconectar o maldito HD, desligar as VMs, reiniciar o PVE e as VMs e pronto, tudo voltou ao normal!

quinta-feira, 13 de janeiro de 2022

Dica - Como pausar a saída do terminal no Linux

 Pessoal,

Por vezes precisamos acessar o Terminal / Shell / Console / CMD do sistema para alguma função não disponível na interface para o usuário.

No Mac, quando uso o Terminal, seja acessando o próprio Mac, seja acessando algum servidor via SSH, quando solicito algum comando cuja resposta é maior que a tela apresentada (mais linhas que a tela do Terminal), basta rolar a tela do Terminal para cima ou para baixo para acessar o que já impresso mas não está mais aparecendo na tela. Fácil.

No Ubuntu com interface gráfica, funciona do mesmo modo. No Windows a mesma coisa acontece.

Alguns comandos permitem passar o "/p"com parâmetro para pausar a listagem da tela (ou seja, rola uma tela por vez).

Entretanto quando eu uso o console do Proxmox, não existe essa opção de rolar a tela. Se o que você queria ler já passou, já era!

Descobri, todavia, como contornar esse problema de um jeito bem simples!

Ao final do comando, acrescente "| more".

# ifconfig -a | more
# ls | more

Pronto, esse post era só isso mesmo!

Obs 1) Este link tem os principais controles do CMD do Windows (antigo e saudoso DOS).

Disco com erro no OMV5 / Proxmox

 Pessoal,

Há alguns dias comecei a ter problemas com os backups pelo CCC. Comecei a receber a seguinte mensagem de erro:


Fui dar uma procurada no Google e encontrei que pode ser que o CCC não conseguiu certificar-se que o disco utilizado para destino (JBC-NAS) é o mesmo disco que eu já estava usando para fazer backup. Mas pode ser, na pior das hipóteses, erro no disco de destino (o JBC-NAS, no caso).

Fiz as alterações sugeridas pelo criador do CCC (veja aqui) e... nada.

Outro erro que também aparece é esse aqui:


Agora erro com permissões. Todos esses erros relacionados no mesmo disco, esse JBC-NAS.

Às vezes acontece do nó inteiro cair:


Enfim, algo de ruim está acontecendo. E a impressão que eu tenho é que esse disco está zebrado.

Esse é um WD My Passport de 04TB. Ele estava em RAID 1 com um Samsung de 04TB quando eu usava o TrueNAS. O TrueNAS falava que um dos discos do array estava com problema e eu, não me lembro porque, achei que era o Samsung (que é bem mais velho que esse WD).

Enfim, esse problema está acontecendo há alguns dias. Aí fui tentar alterar as permissões no OMV e começou a aparecer esse erro aqui:


A causa? Erro no JBC-NAS. Repare nesse erro aí: "A estrutura necessita de limpeza chown".

E agora, com a última travada, liguei o server no monitor e apareceu isso aqui para justificar o travamento do Proxmox:


Confirmado: erro no dev/sde. Esse sede é o JBC-NAS.

Vou ter que substituir esse disco pelo Samsung 04TB e refazer os backups que vão para ele (e o CCC provavelmente vai substituir os backups que saem dele) :-/

Pelo Shell do PVE, tentei rebootar o sistema, mas travou bonito nessa tela aí de cima. Tirei o disco do Server e aí ele conseguiu reiniciar. Engasgou um pouco no começo mas foi em frente. E aí apareceu isso:


Repare que o WD-Pass-04TB (o nosso dev/sde ou JBC-NAS) está interrogado e o S-04TB (o Samsung) também está. O primeiro porque o PVE não encontrou (claro, está desconectado). O segundo porque o PVC não sabe que disco é esse. Vamos formatar e iniciar esse disco e ver o que fazer.

* Aprender a fazer a limonada com os limões que a vida dá pra gente: se realmente der pau nesse disco, vou aproveitar que irei refazer os backups e vou separar as pastas dos arquivos de mídia (filmes, séries, programas de TV, etc) para organizar o Bazarr, o Sonarr e o Radarr, além do Plex.

Bom, tentei reiniciar o OMV e deu esse erro aqui:


Então fiz o seguinte: recoloquei o disco e reiniciei o OMV. Aí vou tirar esse disco. Outra coisa interessante que reparei: esse disco nunca é montado automaticamente no OMV...


Os outros são todos montados automaticamente. Não sei o porque, mas deve ser consequência de algum erro que ele já descobriu e ainda não tinha me contado 😂😂

Bom, antes de apelar para apagar o disco, vou tentar uma última coisa: repara o disco com o fsck usando esses comandos aqui:

Sudo umount /dev/sdd1

Sudo fsck.ext4 /dev/sdd1

Eu sei que é /dev/sdd1 porque o OMV mostrou isso pra mim, veja a figura acima. O fsck vai sugerir algumas correções. Aceitei todas até porque a outra opção é persistir com o erro e o erro não tá deixando o negócio funcionar.



Após vários minutos e centenas de erros, remontei o disco no OMV e fui direto para tentar o backup no CCC, uma vez que o principal objetivo do meu NAS é esse. Ao final do backup do CCC, os erros continuaram :(

Esses erros começaram após uma tentativa de apagar uns arquivos nesse disco que deu um monte de erro. Estava considerando um erro "lógico" e não "físico", só que o histórico desse HD não é dos melhores (lembram dos erros no TrueNAS?). Vou ter que trocar o disco mesmo :(

Colocar o disco no OMV já foi falado aqui e aqui. Nada de novo nessa parte.

Agora é refazer os backups para esse disco novo. 😫😫😫