Tutorial: Instalando o Duplicati pelo Docker no Synology.

Pessoal,

Spoiler: Deu certo, mas deu errado... Leia o post e no final você entenderá :(

Dando continuidade ao post anterior onde falei dos problemas que tive com o Carbon Copy Cloner para backupear o Mac para o Synology e comecei a usar o ChronoSync.

Como disse, o ChronoSync custa U$50,00. Tá fácil não. Assim, optei por tentar com o Duplicati.

O Duplicati tem opção para instalar no Mac (e vários outros SOs, veja as opções aqui) e tem opção de instalar pelo Docker no Synology (e no Mac também, mas não tenho Docker no Mac). Faz backup incremental e é gratuito. Confira a página deles no GitHub (aqui) também! Pelo GitHub também é possível fazer o download para as várias plataformas (veja aqui a última versão, a v2.0.6.104, até a data de publicação deste post).

A idéia é instalar a versão de MacOS para evitar ter que mapear um HD externo que está no Mac através do Synology. Sei que isso vai dar um bom trabalho e prefiro evitar, indo direto para o Mac "empurrando" os arquivos para o Synology do que o Synology "puxando" os arquivos do Mac.

A instalação do Duplicati no Mac não está tão fácil. Parece que há um problema após a atualização do Mac para Monterey e o Duplicati está sofrendo para funcionar. Na verdade funciona, mas dá um trabalhinho para aparecer.

O macete (passado aqui no fórum do Duplicati) é instalar a última versão do Duplicati e ir neste site do GitHub e baixar o arquivo "net.duplicati.server.plist" e colocá-lo em uma pasta específica. Para baixar, clique em "Download ZIP", depois descompacte a pasta (terá dois arquivos) e depois copie para a outra pasta:

Agora, vá ao Finder -> Downloads e descompacte o ZIP baixado. Copie o arquivo com Command + C.

Para a pasta de destino, deixe a tela do Finder ativa (clique nela apenas) e pressione junto as teclas "Shift + Command + "." "(Shift + Command + "ponto"). Os arquivos e pastas ocultos irão aparecer.

Agora navegue até a pasta "Biblioteca -> LaunchAgents" e coloque o arquivo copiado lá. Depois volte para outra pasta (como Downloads e pressione Shift + Command + "ponto" para esconder de novo as pastas e arquivos e evitar de fazer merda...

Se você fez tudo certo, vai digitar esse endereço no navegador e vai abrir o Duplicati rodando no seu Mac: "127.0.0.1:8200/ngax/index.html#". Esse é o famoso "localhost", ou seja, o serviço está hospedado localmente no sua máquina. Depois, quando instalarmos o Duplicati no Docker no Synology, ele será acessado pelo endereço "<IP-do-seu-servidor>:8200/ngax/index.html#".

Na página de login ("First run setup") eu escolhi a opção de não colocar senha, uma vez que tem apenas um usuário. Eu, no caso.

Agora crie um backup:

Escolha o nome do backup e a criptografia (eu escolhi sem criptografia para este backup):

No próximo passo, você escolhe o local de destino. Pode ser local, em vários serviços de nuvem (Box, Dropbox, Google Drive, etc) ou no seu servidor local. Eu vou "roubar" e fazer do jeito fácil. Escolha "Pasta ou Unidade Local". Vai aparecer uma opção para navegar nos diretórios e uma para exibir pastas ocultas. Escolha essa, uma vez que, no nosso caso, a pasta destino é remota. Assim, navegue até a pasta "Volumes" e depois até "Livros"(que eu já havia criado no Synology). Depois clique em "Testar Conexão" e deve aparecer "Conexão estabelecida!".

Agora vamos configurar a pasta de origem. É só navegar. No meu caso, como a pasta também é remota (está num HD externo), é só clicar em "Exibir pastas ocultas" e navegar até a origem. Ao final, clique em próximo.

O próximo passo é agendar a tarefa e definir se você quer apagar ou não os arquivos. Eu prefiro não apagar. Salve e siga em frente para executar!

Funcionou perfeito! Só que...

Descobri que o Duplicati entende que essa função de copiar para outra pasta é "sincronização" e ele não faz isso. Segundo os autores (só vi depois dessa trabalheira toda), o Duplicati compacta e criptografa os arquivos por razões como "segurança, espaço e eficiência".

Ok, mas não é o que estou procurando. Nem vou instalar no Synology. Continuo na luta.

É isso, pessoal!

Dica: Fazendo o Backup do Mac para o Synology do jeito certo!

Pessoal,

Fui começar a fazer o backup para o Synology e descobri uma coisa interessante.

Percebi que algo estava errado quando o backup ficava repetindo eternamente. Melhor dizendo, cada backup era um novo backup, o Carbon Copy Cloner, por algum motivo, não estava fazendo o backup incremental mas estava começando um backup novo a cada vez que era solicitado. A cada novo processo de backup, os horários e datas eram atualizados no destino. Obviamente algo estava errado.

Isso tem várias problemas: dano aos discos de leitura e gravação, perda de tempo, gasto de energia, não garantia do backup efetuado. Ou seja, fria!

Assim, fui olhar as configurações do CCC e não encontrei nada para mudar. Quer dizer, mudei várias coisas, quase todas as configurações, mas o problema persisitiu.

Fui procurar nos fóruns e não achei nenhum relato desse tipo.

Achei estranho porque no NAS anterior, o OMV, isso funcionava bem. Talvez pelo modo de montagem dos discos (lá estava tudo dentro de um disco virtual no Proxmox, no Synology os discos são "reais", sei lá).

Procurei então direto na fonte, na documentação no site do CCC. E lá está escrito (veja aqui) que sistemas de arquivos que não sejam os do padrão MacOS (APFS e HFS+) podem não funcionar bem no CCC, uma vez que o software é exclusivo para MacOS. Ainda, há problemas com propriedades e permissões. O DSM, na versão 7, formata os discos em EXT4 ou BTRFS.

A forma como tanto o TrueNAS e o OMV tratam com as permissões dos usuários também é diferente no DSM.

Assim, a conclusão que cheguei é que o CCC, pelo menos a versão que eu tenho, não permite fazer backup adequadamente no Synology...

Solução? Procurar outro software para isso.

O meu backup é simples: escolho uma pasta de origem no HD externo (formatado em HFS+) e envio para uma pasta com o mesmo nome no Synalogy. Claro que o primeiro backup é super demorado, mas os próximos são rápidos porque o software analisa se o arquivo já existe e, caso positivo, não grava e vai para o próximo. Isso é backup incremental.

Então fui procurar outro software. Não encontrei nenhum no Synology que fizesse isso :( Devo ter tentado uns 10 programas no Mac e só um resolveu o meu problema. Vários faziam backup para cloud services ou imagem de disco e nada disso era o que eu precisava.

Achei um, open source, que faz (quase) tudo que eu preciso: FreeFileSync. A cópia é bem rápida, você escolhe as pastas de origem e destino, criptografa se quise, tem opção para sincronizar e apenas copiar o que for novo da pasta origem na destino (e nesse caso você pode optar por apagar o que estiver diferente na pasta de destino ou manter os arquivos), etc.

O FileFreeSync tem dois problemas. O primeiro, irrelevante, mas típico de várias ferramentas opensource do mundo Linux: é feio pra caramba!

Esse é um problema de menos. Tolero a feiura dele porque ele é extremamente competente no que faz.

O segundo problema é o complicado: não tem função para agendar as sincronizações / backups... :(   Aí é de lascar! Quer dizer, tem. Mas é complicado. Usa o Automator e o calendário.

Só o ChronoSync resolveu o problema. Ele faz o backup bem parecido com o CCC, permitindo escolher as pastas de origem e destino e agendar os backups. E o melhor, sem dar o problema com as permissões que o CCC estava dando.

Ainda vou testar mais uma: Duplicati, via Docker, porque o ChronoSync custa 50 Bidens, uns 250 a 300 petralhas, na conversão atual. É pouco não...  Mas essa vai para o próximo post.

Vou tentar o FreeFileSync novamente com esse agendamento. Afinal de contas, a concorrência tá pedindo 50 doletas...

Por enquanto é isso!

Erro no "OMV6 / CCC / Sei lá onde" ao copiar uma pasta / arquivo

Pessoal,

Algo estranho aconteceu agora.

Fiz o download de um arquivo e mandei-o da pasta de downloads para uma pasta específica no primeiro disco de back-ups. Entao fui ao CCC e mandei copiar essa pasta para o segundo disco de back-up.

Não sei o porquê, mas o CCC apenas criou a pasta, não copiou os arquivos de dentro da pasta e adicionou restrições de acesso a esta pasta específica. Tentei rodar o backup de novo e começou a dar erro especificamente nesta pasta. Tentei apagar a pasta no segundo disco e a permissão foi negada. E no primeiro disco, tudo normal.

Atualizei as VMs, o Proxmox, reiniciei tudo (inclusive o Mac) e nada. Mesmo erro.

Então apelei e parti pra força bruta.

Fui no shell da VM do OMV, fui em "/srv" que é onde estão montados os discos do OMV. Lá fui no disco, na pasta e excluí a pasta defeituosa com "rmdir <pasta>". Como root, é claro.

Pronto. Resolvido.

Disco com erro no OMV5 / Proxmox

 Pessoal,

Há alguns dias comecei a ter problemas com os backups pelo CCC. Comecei a receber a seguinte mensagem de erro:

Fui dar uma procurada no Google e encontrei que pode ser que o CCC não conseguiu certificar-se que o disco utilizado para destino (JBC-NAS) é o mesmo disco que eu já estava usando para fazer backup. Mas pode ser, na pior das hipóteses, erro no disco de destino (o JBC-NAS, no caso).

Fiz as alterações sugeridas pelo criador do CCC (veja aqui) e... nada.

Outro erro que também aparece é esse aqui:

Agora erro com permissões. Todos esses erros relacionados no mesmo disco, esse JBC-NAS.

Às vezes acontece do nó inteiro cair:

Enfim, algo de ruim está acontecendo. E a impressão que eu tenho é que esse disco está zebrado.

Esse é um WD My Passport de 04TB. Ele estava em RAID 1 com um Samsung de 04TB quando eu usava o TrueNAS. O TrueNAS falava que um dos discos do array estava com problema e eu, não me lembro porque, achei que era o Samsung (que é bem mais velho que esse WD).

Enfim, esse problema está acontecendo há alguns dias. Aí fui tentar alterar as permissões no OMV e começou a aparecer esse erro aqui:

A causa? Erro no JBC-NAS. Repare nesse erro aí: "A estrutura necessita de limpeza chown".

E agora, com a última travada, liguei o server no monitor e apareceu isso aqui para justificar o travamento do Proxmox:

Confirmado: erro no dev/sde. Esse sede é o JBC-NAS.

Vou ter que substituir esse disco pelo Samsung 04TB e refazer os backups que vão para ele (e o CCC provavelmente vai substituir os backups que saem dele) :-/

Pelo Shell do PVE, tentei rebootar o sistema, mas travou bonito nessa tela aí de cima. Tirei o disco do Server e aí ele conseguiu reiniciar. Engasgou um pouco no começo mas foi em frente. E aí apareceu isso:

Repare que o WD-Pass-04TB (o nosso dev/sde ou JBC-NAS) está interrogado e o S-04TB (o Samsung) também está. O primeiro porque o PVE não encontrou (claro, está desconectado). O segundo porque o PVC não sabe que disco é esse. Vamos formatar e iniciar esse disco e ver o que fazer.

* Aprender a fazer a limonada com os limões que a vida dá pra gente: se realmente der pau nesse disco, vou aproveitar que irei refazer os backups e vou separar as pastas dos arquivos de mídia (filmes, séries, programas de TV, etc) para organizar o Bazarr, o Sonarr e o Radarr, além do Plex.

Bom, tentei reiniciar o OMV e deu esse erro aqui:

Então fiz o seguinte: recoloquei o disco e reiniciei o OMV. Aí vou tirar esse disco. Outra coisa interessante que reparei: esse disco nunca é montado automaticamente no OMV...

Os outros são todos montados automaticamente. Não sei o porque, mas deve ser consequência de algum erro que ele já descobriu e ainda não tinha me contado 😂😂

Bom, antes de apelar para apagar o disco, vou tentar uma última coisa: repara o disco com o fsck usando esses comandos aqui:

Sudo umount /dev/sdd1

Sudo fsck.ext4 /dev/sdd1

Eu sei que é /dev/sdd1 porque o OMV mostrou isso pra mim, veja a figura acima. O fsck vai sugerir algumas correções. Aceitei todas até porque a outra opção é persistir com o erro e o erro não tá deixando o negócio funcionar.

Após vários minutos e centenas de erros, remontei o disco no OMV e fui direto para tentar o backup no CCC, uma vez que o principal objetivo do meu NAS é esse. Ao final do backup do CCC, os erros continuaram :(

Esses erros começaram após uma tentativa de apagar uns arquivos nesse disco que deu um monte de erro. Estava considerando um erro "lógico" e não "físico", só que o histórico desse HD não é dos melhores (lembram dos erros no TrueNAS?). Vou ter que trocar o disco mesmo :(

Colocar o disco no OMV já foi falado aqui e aqui. Nada de novo nessa parte.

Agora é refazer os backups para esse disco novo. 😫😫😫

Proxmox - instalando o TrueNAS e configurando os discos!

Pessoal,

Como disse no post anterior, o próximo passo seria instalar o TrueNAS.

Vamos criar uma VM onde ele será instalado e faremos o resto por lá (veja aqui como criar uma VM no Proxmox).

Tentei fazer o boot via UEFI na VM. Não deu, ficou travado. Apaguei a VM e reinstalei, agora dando boot via BIOS. deu certo. Aloquei 8GB de RAM, 128GB para o disco do TrueNAS (sendo 16GB de swap, seguindo o programa de instalação) e dois núcleos para o TrueNAS:

Pronto.

Para acessar a interface web do TrueNAS, é só digitar o endereço 192.168.1.30.

Até aqui nenhum mistério. Coloque "root" no usuário e a senha que você escolheu na instalação em "Password".

Depois de gastar algumas horas para e tentar várias formas para fazer o disco ficar disponível para o TrueNAS, entendi que deveria, primeiro, parar a VM com o TrueNAS para conseguir acrescentar o disco.

Acrescentei fazendo um bypass no Proxmox através das configurações da VM do TrueNAS: fui em hardware e acrescentei um disco via USB na VM do TrueNAS. Só depois disso liguei a VM e aí o disco apareceu. Talvez exista outro modo (e acredito que realmente deva existir), mas apenas esse funcionou para mim.

Gastei algumas horas pra descobrir isso. E confesso que a reinicialização da VM demora bastante, pelos menos uns 10 minutos.

Repare que um disco aqui deu erro na inicialização. Na verdade, 3 dos 4 discos deram erro. E como disse, o boot demora demais devido a essa tentativa de ficar tentando achar e montar os discos. Os quatro discos aparecem disponíveis e montados na VM:

Mas apenas um dele está de fato funcionando na VM. Os outros três dão erro ao tentar criar um pool utilizando-os. Esse disco que está funcionando coloquei pra TimeMachine e funcionou ok. Já os outros três não aparecem de jeito nenhum. Quando eu tento criar o pool, parece que vai:

Mas aí dá erro:

Bom, desse jeito não dá pra ficar. Num momento de desespero pensei até em usar o OMV (na verdade cheguei a instalar começar a configurar, mas ele ficou excluindo automaticamente os discos USB).

Obviamente estava fazendo alguma coisa errada. Obviamente esse bypass do USB está errado. Se deu errado no TrueNAS e deu errado no OMV, o erro na verdade é com o jeito que estou fazendo.

Então resolvi imaginar e fazer a coisa mais simples. Ora, vou criar um "disco virtual", ou seja, vou deixar o Proxmox administrar esse disco, sem fazer bypass.

Assim fui em "pve -> Disks". Lá tem algumas opções, entre elas ZFS e Diretório.

Primeiro usei o ZFS (veja aqui o que é ZFS) para criar no HD 03TB uma partição. Isso feito, fui no na VM do TrueNAS, em hardware, e adicionei um "Disco Rígido". O chato aqui é apenas definir o tamanho do disco, que o Proxmox mostra em GB. Fui acrescentando e acrescentado tamanho até chegar ao limite do disco. Depois disso, no TrueNAS, fui em Storage -> Pool e criei um pool com esse disco para fazer o TimeMachine. Deu certo!

Depois repeti o processo com os discos de 04TB. Esses dois disco são de marcas diferentes (um WD e o outro Samsung) e, da primeira vez que tentei usar, o TrueNAS não criar um pool alegando que eram discos de tamanhos diferentes.

Para esses, o processo foi um pouco diferente: em pve -> Disks, criei um "diretório" para cada disco, formatando em ext4. Depois adicionei como "Disco Rígido" todo o conteúdo de cada disco ao TrueNAS. E eis que eles apareceram lá.

O interessante deste último caso é que agora eles não são mais identificados pelo fabricante nem aparece o serial do disco no TrueNAS. Eles estão como discos "do emulador".

Criei o pool com esses dois discos em mirror, por segurança. Dentro deste pool criei um "dataset", ou seja, uma pasta inicial onde tudo será guardado, e coloquei para o Carbon Copy Cloner fazer o backup. O pool funciona como o nome do dispositivo e o dataset como partição primária. Pronto!

Agora preciso ver como vou fazer com o HD de 08TB.

E preciso refazer o Plex e outros dockers que eu estava usando.

Novo NAS - Open Media Vault

Pessoal,

Já contei em vários posts aqui do blog sobre o NAS que eu fiz utilizando o FreeNAS (aqui sobre o próprio OpenMediaVault - OMV - quando fiz um teste no RP3, aqui quando fiz um dual boot no MacWhite para instalar o Ubuntu Server e instalar o NextCloud via Docker, aqui sobre a tentativa frustrada de abrir o roteador para acessar a minha rede fora de casa, aqui sobre a VPN com o OpenVPN e NoIP - solução que vou manter no OMV também -, aqui onde falo das minhas impressões sobre o OMV, XPEnology e FreeNAS e porque tinha decidido a usar o FreeNAS e, por último, aqui onde falo do FreeNAS e utilização para PlexServer e backup - incluindo o TimeMachine).

O FreeNAS é derivado do FreeBSD e o OMV é derivado do Debian (Linux). Ambos são derivados do Unix, mas cada um com uma proposta um pouco diferente. O BSD (que origina o FreeBSD) é a base, inclusive, para o MacOS (sim, o MacOS é derivado do BSD e, assim, do Unix! Linux e MacOS são, de certo modo, primos!).

Quando tinha optado pelo FreeNAS, eu vi e gostei muito da forma de instalar "plugins" nele, pelos Jails. Eu não sabia, todavia, que o OMV também tinha essa opção (OMV Extras). Pelo que percebi, o FreeNAS é um pouco mais complexo devido aos jails, que tem um sistema de permissões mais complexos. O OMV, ao contrário, parece ser um pouco mais flexível.

Como exemplo, não adianta simplesmente instalar um jail do NextCloud ou instalar o Docker no FreeNAS e instalar o NextCloud nele. Para acessar o pool de arquivos, é uma luta. Parece (digo parece porque ainda não instalei isso no OMV) que o sistema de instalação e compartilhamento no OMV é bem mais simples.

Outra coisa que havia me direcionado ao FreeNAS era o suporte à VM. O problema é que o FreeNAS usa toda a RAM que eu coloquei como cache. PQP! Haja RAM! Assim, as VM ficam leeeennnntttttaaaaassss! Inutiliza toda a ideia do negócio. Óbvio que tem solução: colocar um SSD para cache, por exemplo, mas não vou gastar nada com isso.

Aí vi que o o OMV tem suporte a VM também, utilizando o Virtual Box. Acho que aí eu resolvo minha questão com VM.

Além disso, outras coisas motivaram essa troca toda.

Uma delas foi a esdrúxula decisão do Yahoo de acabar com o Auto Forward de mail. Uma das medidas mais antipáticas que já vi. Lá pelos idos 1997, quando a internet começou a chegar no Brasil, eu ainda estava na Faculdade de Medicina da UFMG. Na época, criaram o Centro de Informática Médica na faculdade e disponibilizaram emails para os alunos. Eu tinha um e era bem simples (como toda a internet da época). Aí apareceram o Yahoo Mail (fiz dois, um .com.br e um .com), o HotMail (também fiz um, antes de ser comprado pela Microsoft) e na iG (lembram dela?).

Pois bem, quando saí da faculdade, o acesso ao email da FM-UFMG foi cancelado. Comecei a usar o iG como meu email principal. Depois, mudei para o yahoo.com.br. Quando o Gmail surgiu, a interface dele era melhor e comecei a utilizar o Auto Forward do Yahoo para o Gmail, que acabou sendo a minha interface de email, apesar de receber e responder como yahoo.com.br.

A questão passou a complicar no começo de 2021, quando o Yahoo acabou com o auto forward para as contas gratuitas, alegando que não havia segurança, mas manteve para as contas pagas. Peraí! Não é seguro para conta gratuita mas é seguro para conta paga? PQP! Arranja outra desculpa melhor, né?

Como vários serviços e sites que eu acesso estavam cadastrados com o email Yahoo, fui mudando, ao longo de alguns meses para o Gmail. Atualmente só utilizo o Yahoo para o NoIP e a Apple.

Assim, aproveitei toda essa mudança e vou trocar o serviço do NoIP do Yahoo para Gmail. Só que isso vai resultar na reconfiguração do serviço de DNS dinâmico que preciso para o OpenVPN.

Enfim, dadas as devidas explicações, confirmei que todos os meus arquivos backupados no FreeNAS estão nos meus HD externos e mandei ver na troca do FreeNAS pelo OMV.

Além disso, aproveitei um HD de 500GB parado aqui para colocar no servidor. Assim, ele vai ter um HD de 500GB para rodar o OMV (mais que necessário), além de um de 1TB que já está nele e mais alguns externos para fazer o serviço de Storage.

A instalação é super simples. Após baixar a imagem estável no site deles (eles direcionam para o SourceForge, aqui), basta seguir as instruções na tela. Ja mostrei a instalação no primeiro post da série "Em busca do NAS doméstico (quase) gratuito!". Lá eu tinha mostrado como fazer no RP3 com o RaspOS instalado. Hoje fiz diferente: gravei a ISO baixada num pendrive bootável, desconectei os HDDs do servidor, coloquei o pendrive e reiniciei a máquina. Na hora de escolher onde gravar o OMV, formatei o HD interno da máquina e gravei nele. O resto é só seguir as instruções.

Duas coisas importantes: primeiro, reserve um IP fixo para o server, ajuda muito. Já falei disso aqui e vale sempre recomendar a leitura. Segundo, escolha uma boa senha.

Após instalar e trocar a senha, vá em Sistemas -> Update Management e atualize tudo que houver para ser atualizado.

O OMV, ao contrário do FreeNAS, não tem uma opção para acessar o Shell. E, ao contrário do RP, onde podemos instalar como um programa no RaspOS e acessar o Shell via VNC, o OMV não tem suporte para VNC (não ainda e não o VNC). Assim, ou você precisará de um monitor e um teclado para digitar algumas linhas de comando ou você pode utilizar o SSH. Por padrão, o SSH já está habilitado no OMV e você acessa digitando:

        ssh <usuário>@<endereço do OMV> <enter>

No meu caso, é:

        ssh root@192.168.1.2 <enter>

Usuários do Windows precisam, se não me engano, acessar pelo Putty.

Uma vez dentro do Shell do OMV, instale os "extras" com a seguinte linha de comando:

     wget -O - https://github.com/OpenMediaVault-Plugin-Developers/packages/raw/master/install | bash

Esses extras é que contêm a parte divertida: Docker, Transmission, PlexServer, Vitual Box, etc. Mas vamos falar disso mais pra frente.

Agora vamos preparar os discos para Storage.

Uma das grandes vantagens do FreeNAS e do OMV é aceitarem, nativamente, discos via USB (o XPEnology não aceita nativamente).

Após conectar o disco, vá em File System (ou Sistema de Ficheiros). Veja que o disco que você acabou de conectar NÃO está lá.

O disco, para aparecer, precisa ser "criado". Assim, quando você escolher Criar, aparecerá uma pequena tela que mostrará o disco conectado:

Escolha o disco, crie o nome e formate em EXT4. Como tenho dois discos para backup, ficará assim: o disco do OMV será sda, o primeiro backup será sdb e o terceiro será sdc. Esse é um processo um pouco demorado, a depender do tamanho do disco. Tudo que está nos discos será apagado!

Um detalhe: se a ideia é fazer algum RAID com discos externos, esqueça! O OMV, ao contrário do FreeNAS, não permite!

Não é um grande problema, pelo menos não inicialmente. Posso colocar esses dois discos (ambos de 4TB) para gravarem sequencialmente, mais pra frente comprar um de 8TB para fazer isso também ou, também mais pra frente, comprar uma gaveta e colocar dois discos lá dentro do server. A ver.

Após a criação e formatação dos discos, vamos montá-los no sistemas. Tentei formatar os dois ao mesmo tempo, mas eles estavam sendo persistentemente excluídos. Assim, tirei os dois do computador, liguei um, formatei e montei, depois fiz a mesma coisa com o outro. Aí deu certo. Vejam:

São esses dois, BKP01 e BKP02.

O próximo passo é criar um usuário para acessar os discos e pastas para esses acessos compartilhados na rede.

Assim, vá em em "Gestão de Direitos de Acesso" --> "Utilizador" e crie quantos usuários forem necessários. Aqui eu criei alguns: um para mim e outro para a patroa (cada um terá uma pasta para fazer backup de seus arquivos); um para o Plex (onde vou colocar as mídias), outro para o Transmission. Se precisar, pode-se incluir ou excluir usuários.

Depois, vá em "SMB/CFS" --> "Definições" e ative o SMB em "Ativo" e então vá em "Partilhas" para criar a(s) pasta(s).

Aqui tem um ponto importante: qual o grau de acesso que você quer dar a quem tem acesso a sua rede? Eu escolhi a opção onde o administrador e os usuários cadastro leem e escrevem e os usuários não cadastrados podem apenas ler. Isso vai de acordo com seu interesse.

Se você descer mais as opções, poderá ativar a opção "Time Machine Support" para permitir que o Mac faça o Time Machine. Para isso, optei por criar uma pasta "Time Machine" no outro disco (BKP02).

Para acessar este disco, será pedido um login e senha - é o nome do usuário e senha que você cadastrou!

O próximo passo agora é configurar os backups. Como já fazia tudo pelo Carbon Copy Cloner, é só organizar o destino e mandar começar os backups.

Agora o TimeMachine está rodando e os backups também. E isso vai demorar algumas horas.

Se tudo ficar certinho, vai sair um próximo post para instalar o PlexServer, o Transmission, o OpenVPN e o Virtual Box.

Até o próximo!

NAS Doméstico - FreeNAS

 Pessoal,

Só para atualizar aqui o NAS.

Backup:

Coloquei o Carbon Copy Cloner para fazer os backups para o NAS. Foi a maneira que encontrei mais fácil de efetuar os backups. Interessante que enquanto usava o WD MyCloud com destino de backup, diversos erros ocorriam. Com o NAS, o processo AGORA está liso!

Disse "AGORA" porque o primeiro backup completo foi dureza. Depois de algum tempo, o sistema ficava offline, o disco do NAS sumia da rede e o backup não era concluído. Gastei uns dois dias para cada backup que fazia. Depois disso, não tive mais erros com o backup.

Mídias:

Instalei o PlexMediaServer como plugin do NAS. É meio chato: criei um usuário "PlexMedia", montado em /mnt/JBCNAS/iocage/jails/PlexMediaServer/root/media/plex. Dentro de Jails, no menu inicial do NAS, direcionei uma subpasta dentro da minha pasta de mídias no pool para uma subpasta do PlexMediaServer:

Depois instalei o aplicativo do Plex no celular, iPad, AppleTV e TV. Pronto: todos eles encontraram o servidor na rede local e começaram a passar as mídias.

Repararam que eu disse "rede local"? Para "streamar" para a internet, o Plex exige que você seja assinante do PlexPass. Se você, assim como eu, tiver uma VPN (veja aqui), basta entrar na VPN e acessar o Plex "localmente)!

Usei principalmente esse vídeo aqui como guia para instalar o PlexMediaServer.

Time Machine:

Estou utilizando o NAS para fazer backup via Time Machine também. Dentro do meu pool, criei um dataset com o nome Time Machine e compartilhei na rede como SMB. Até tentei compartilhar com AFP (Apple File Protocol), mas não conseguia conectar os Macs nele. Com SMB, foi sem problema e vou deixar assim porque está funcionando e está bom (é como diz o velho ditado: "o ótimo é inimigo do bom")!

Próximos passos: instalar o NextCloud no NAS, ver se vou manter o PiVPN no RP ou se ele vai para o NAS e instalar o PiHole no RP. Outra possibilidade é instalar o Ubuntu Server em uma VM no NAS e rodar o PiHole e PiVPN nesta VM, além do aplicativo do NoIP!

Atualização:

Acabei de descobrir que o meu PC véio não tem suporte para criação de VM. Assim, como já tenho o RP rodando o PiVPN e o aplicativo do NoIP (expliquei tudo isso aqui, lá no meio do post; leiam que vale a pena), vou colocar o PiHole no RP também. Explicarei isso no próximo post.

É isso por enquanto.

Em busca do NAS doméstico (quase) gratuito! - Parte 6 (e última)

 Pessoal,

Terminei a epopéia do NAS doméstico (ou quase).

1 - MacMini:

    O MacMini morreu mesmo. A empresa que tentou recuperá-lo disse que a placa lógica foi pro saco mesmo.

    Solução: ou comprar um MacMini usado e transplantar a placa (não sei, comprar uma placa usada??) ou comprar uma placa nova (que nesse período de pandemia tá difícil de achar e com o dólar nas alturas tá caro de pagar...).

    Conclusão do MacMini: vai ficar guardado esperando o dólar cair e o corona sumir.

2 - VPN:

    O negócio do VPN é bom mesmo. O Raspberry de servidor de VPN tá funcionando que é uma maravilha. Essa é a minha solução para acessar minha rede local de fora de casa.

3 - Servidor:

    Eis que ganhei um PC velho para virar servidor! É um HP miniATX com core i3 4130 (4a geração) 3.4GHz, 8GB de RAM e HD de 500GB. Pelo que vi aqui, vai rolar com ele nos próximos anos.

4 - Discos para o NAS:

    Neste momento vai ser o que já tenho aqui: 2 HDs externos de 4TB rodando em RAID 0 mesmo. No futuro, se eu convencer a esposa a deixar eu montar um NAS em um rack, aí a coisa pode mudar de figura. Talvez um ou dois HDs de 8TB na próxima viagem para os EUA quando o corona e Trump baixarem a guarda...

5 - SO do NAS:

    Esse é o ponto nevrálgico do sistema. Testei o OpenMediaVault (aqui), o FreeNAS e o XPEnology.

    Achei o OMV chato de usar. A confirmação dele é pouco intuitiva e parece "frágil". A relação dele com o NextCloud ajuda muito para acessar externamente. É bem simples e roda até num RP. Seria minha opção se não tivesse um servidor melhor ou se tivesse um RP4 (é outra opção).

    Experimentei o XPEnology. Esse é o DiskStation Manager (DSM) da Synology acessado por um bootloader opensource (conhecido como piratex ou "da galera"). Tive alguns problemas com ele. Achei a criação do pool confusa, não tão amigável quanto eu esperava. Apesar de ser muito bonita, é pouco intuitiva.

    Além disso, a partição que eles escolheram tem limitações do tipo de caracteres e tamanho de arquivo até 4GB. Isso é um problema, porque tive vários erros ao copiar os arquivos (centenas de erros). Isso foi, pra mim, o pior dos mundos, porque é até proibitivo (na minha opinião) para comprar um Synology "de verdade". Não sei se o QNAP também tem esse tipo de restrição.

    O Synology tem muita opção de plugin, inclusive para criação de VM (que nem cheguei a testar devido a falha das cópias dos arquivos). Além disso, tem aplicativos para os dispositivos móveis (ponto super positivo) mas de forma confusa (tem aplicativo que não funciona mais, só que ainda está para download?!?!).

    Enfim, não me atendeu.

    Então chegamos ao FreeNAS. Esse SO é o derivado opensource com contribuição da comunidade do sistema TrueNAS (inclusive agora serão unificados). É extremamente potente como o DSM da Synology, bem flexível como o OMV e permite instalar o NextCloud e usar seus aplicativos remotamente. Foi a opção que fiz.

    Outra coisa sobre o FreeNAS (e também o OMV): aceita HD externo USB naturalmente. O XPEnology não aceita (não nativamente, precisa fazer uma maracutaia... veja aqui).

6 - Backup:

    Meus backups ficaram assim: utilizo o Carbon Copy Cloner para copiar os arquivos do MacMini para um HD externo e desse HD externo para outro. O CCC também copia desse segundo HD para o FreeNAS. 

    Tenho conta no iCloud (200GB, familiar), no BOX (50GB para sempre), OneDrive (15GB para sempre) e Dropbox (13GB para sempre). O BOX tem músicas e cópias de pastas de trabalho. Estas pastas estão sincronizadas também no Dropbox e OneDrive. Todas são copiadas a cada hora para o iCloud e todas (incluindo o iCloud) vão para os HDs externos (inclusive para o NAS). Além disso, tenho pastas com arquivos pessoais e de informática que vão para os HDs externos e NAS somente.

    Faço o Time Machine no NAS. Óbvio que não quero perder nada, mas os dados sensíveis estão com bastante redundância e os dados nos Macs podem ser recuperados dos HDs externos.

    O NAS está rodando em RAID 0 (striping, sem redundância) porque é o que deu para o momento (até porque já tenho os dados em outros 2 HDs externos). A idéia é depois organizar para rodar em RAID 1 (mirror) ou quem sabe RAID 5... Preciso de espaço e grana pra isso!

7 - Conclusão:

    Minha esposa fritou com essa maluquice toda. Ela falou: "junta dinheiro e compra essa merd*a do QNAP logo".

   Difícil explicar que o barato é fazer porque eu consigo! É um processo experiMENTAL! Minha salvação durante a pandemia!

   Para esse projeto, precisei estudar redes, backups, NAS, VPN. Não é pouca coisa, ainda mais se você é de outra área do conhecimento completamente diferente.

    Se recomendo esse sofrimento todo? Claro que sim! Não só pela economia, mas pelo conhecimento. Sempre gostei desse assunto e aproveitei para estudar tudo isso e colocar em prática. 

    Na pandemia aproveitei e estudei C também! Agora quero aprender Swift e Python! Conhecimento sempre é bom!

    Obrigado por acompanharem todo esse longo processo. Até o próximo post.

Em busca do NAS doméstico (quase) gratuito! - Parte 1

Pessoal,

Já falei aqui no blog sobre os meus backups. Uso meu MacMini como servidor para TimeMachine e utilizo o Carbon Copy Cloner para fazer backup para 2 discos externos. Também utilizo o CCC para copiar para um NAS (WD MyCloud). 

Para completar a tara, utilizo o DropBox, BoxSync e OneDrive para backup de algumas coisas em nuvem. Essas nuvens também são copiadas para os discos externos e também para o TM.  Também tenho 200GB no iCloud e essas nuvens passam por lá também, e o iCloud também vai pra festa dos backups.

Assim, espero ter redundância de tudo para evitar alguma catástrofe digital.

Nessa orgia de backups, faço backup do Mini, do Pro e do White. O iPad e o iPhone também são "backupiados" no Mini (além de algumas coisas no iCloud) e daí também vão pra zona dos backups.

Tudo funciona muito bem. Não perco mais arquivos, mas dependo do Mini rodando 24/7. Isso não é problema (tá, a CEMIG cobra o preço disso), mas a gente sempre acha uma gambiarra desculpa justa causa pra fazer mais um backup ou inventar mais uma moda!

Tenho um Raspberry Pi 3B parado aqui, sempre tentando arranjar uma coisa pra fazer com ele. Já foi retrogame, já tentei instalar Ubuntu nele, tentei instalar W10 nele, mas não ia pra frente.

O RP3B tem lá seu problemas, mas quando comprei era o RP mais moderno. Hoje toma uma surra do RP4, mas ainda tem muita coisa pra fazer.

Pra quem não conhece, o Raspberry Pi é um computador popular, muito barato (a versão mais barata - RP Zero - custa apenas US$ 5; a mais cara, RP 4 com 8GB de RAM, custa US$ 75), que pode servir para uma infinidade de coisas. O site da Raspberry Foundation tem muita informação sobre o que é o RP e coisas para fazer com ele.

Uma das coisas legais no RP é utilizar Python para programação. O C também é super útil (uma vez que ele roda Linux).

Enfim, voltando ao assunto do post!

Fuçando na internet hoje, achei uma página que falava sobre o OpenMediaVault. Esse programa é uma solução de NAS bem simples e bem completa. Tem cliente Torrent, SMB e serve até como servidor para TimeMachine!

Quando resolvi utilizar o MacMini como servidor de TM, meu plano inicial era utilizar o RP para isso, mas não consegui fazer funcionar de jeito nenhum.

Recentemente tentei utilizar o FreeNAS e o OwnCloud para criar um... NAS, é claro! E é claro que não funcionou, porque senão eu não estaria fazendo este post. Basicamente, ambos são extremamente poderosos, super completos e um tremendo pé no saco para instalar. É coisa pra avançando em Linux (e taí uma coisa que eu não faço questão nenhum de ser).

O OMV foi diferente. Tentei e deu certo.

Basicamente segui esse tutorial aqui (fiz algumas modificações) e foi bem simples de fazer.

O tutorial recomenda instalar o Raspberry Pi OS Lite e fazer a instalação remotamente. Se você não tem ou não quer ligar mouse, teclado e monitor no RP, essa pode ser a sua solução. Você liga o RP na tomada, instala o Adafruit Pi Fruit no seu computador (tem versões para Mac, Windows e Linux), conecta um cabo do roteador ao RP e vai passar informações da sua rede pra ele e pegar o IP dele. A partir daí, usa o ssh (se Mac/Linux) ou Putty (se Windows).

Eu preferi manter a minha versão já instalada (Raspberry Pi OS with desktop and recommended software - a versão mais completa) e acessar o RP via VNC e terminal diretamente no RP.

No tutorial, o autor se preocupa exaustivamente em conferir se o download foi perfeito (checa o hash do arquivo, etc). Vou ser sincero, não fiz nada, absolutamente nada disso.

Independentemente do que escolher, sempre é recomendado atualizar o RP OS:

    sudo apt-get update

    

    sudo apt-get upgrade  -y

    sudo rm -f /etc/systemd/network/99-default.link

Depois de fazer isso, resete ele com: 

    sudo reboot

Para instalar o OpenMediaVault, utilizei o script abaixo:

    wget -O - https://github.com/OpenMediaVault-Plugin-Developers/installScript/raw/master/install | sudo bash

Esse script faz tudo sozinho. Demora um tantinho, uns 30 minutos pelo menos. Depois disso o RP reseta sozinho e então é tudo feito a partir do seu computador principal (não precisar mais usar o RP para configurar).

No browser do seu computador, digite o endereço IP do seu RP e vai entrar nessa página:

Aqui você digita admin e openmediavault para usuário e senha, respectivamente. A senha será trocada logo a seguir.

Essa é a página inicial. A gente vai ter que ativar o SMB/CIFS depois para funcionar.

Em "General Settings" troque sua senha. É a primeira coisa a fazer! Depois vá em "File System" -> "Create" e adicione o HD externo que você conectou ao RP. Lembre-se que o RP passa pouca energia pelo USB. Assim, ou utilize HD portátil (ou SSD) ou um HD de mesa com fonte externa.

Escolha o nome do HD de backup e formate em EXT4.

Nesse momento, seu HD será formatado. Depois, você deverá montar o HD em "Mount". Após toda ação, aparecerá uma mensagem amarela na parte de cima da tela para confirmar. Sempre confirme.

O próximo passo é criar uma pasta para compartilhar e criar um usuário para acessar a pasta.

Em "SMB/CIFS" -> "Settings" ative o SMB em "Enable" e depois vá em "Shares" para criar a pasta.

Clique no "+" na frente de "Shared Folder" para criar um no diretório.

 

Escolha o nome do diretório e selecione o HD ligado ao RP. Depois que salvar, arraste a tela para baixo e ative "Time Machine Support" para permitir que seu Mac faça o TM nele. Se você não quiser o TM, não precisa ativar, a pasta criada será acessível pela rede do mesmo jeito.

Agora vamos criar o usuário. Vá em "Access Rights Management" -> "Users" -> "Add"

Pronto! Já está tudo pronto para fazer o TM. Agora, no Mac, vá em "Configurações" -> "Time Machine" e perceba que o disco do RP já apareceu!

Agora você vai digitar o nome do usuário e a senha que você acabou de criar.

Pronto! Você já tem uma Time Capsule feita com um RP e um HD externo do tamanho que você quiser!!

Se você quiser, pode criar uma pasta para fazer o TM e criar outra pasta para usar como NAS.

Pronto! O próximo passo é fazer isso aparecer fora da minha rede doméstica, acessível pela internet. Mas isso será assunto para um próximo post!