OPNsense®

Ülevaade

Jookseb proxmox, et peale ruuteri OS-i saaks ka muid võrguga seotud teenuseid jooksutada.

Funktsioon	Kirjeldus	Lisainfo
LAN pesad	ETH 3 WAN ETH 0-2 LAN	LAN_BRIDGE seadistatud pesadele 0-2
DHCP		DNS on AdGuard Home mis omakorda kasutab DoH CloudFlare serverit
VPN	Cloudflared Zero Trust	Alpine linux LXC
Packages		Ei ole kasutuses

Seadistus

Pve2-netwatch
/etc/default/grub:
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt splash"

Doc pooleli

Mured

Võrgu aeglus mure

Mul mingi jama sellega, et kui torrent-i küljes on mitu seeder-it, siis võrk muutub väga aeglaseks.
Üleüldiselt on soovituslik Hardware Offload välja lülitada, ma siis tegin seda.
Ma tegelt kahlustan kõige rohkem...

Proov 1:

Võibolla põhjustab Firewall Maximum States mis on 404,000 vaikimisi.

Firewall > Settings > Advanced
Tõstsin selle 800,000 peale.
See vist isegi aitas, enam ei tõmba võrku kooma.
Nope, ikka katki...

Proov 2:

Mine System > Settings > Tunables lisa need asjad ja siis reboot:

Tunable	Value	Description
kern.ipc.nmbclusters	1000000	Increases network memory buffers for high-connection scenarios.
net.inet.rss.enabled	1	Enables Receive Side Scaling to spread network load across CPU cores.
net.isr.dispatch	deferred	Changes how network packets are processed to work effectively with the other net.isr tunables.
net.isr.maxthreads	-1	Creates a dedicated network processing thread for each CPU core.
net.isr.bindthreads	1	Binds each network processing thread to its specific CPU core.

Jamh... ikka ei ole korras

Proov 3:

Mitu asjas sai nüüd testitud

Kontrollisin põhjalikult resurssi kasutust, kõik on alla 50%.
Samal ajal kui server laadis, proovisin teist DNS-i, ikka sama mure.
WAN interface MSS muutmine 1440 peale.
Shaper kasutamine, panin 50% mu max kiirusest.

Ikka sama mure Veel testida:
1. Ping samal ajal kui nett "maas" on.
2. Otse ISP ruuteri külge ühendamine ja vaadata kas siis rohkete seeder-itega torrent tõmbab muu võrguliikluse maha.

Tulla siia tagasi peale leidmisi - ChatGPT Poolik vastus:

1. I already tried option one, setting Firewall Maximum States higher, currently at 800k, did not help.
2. Also already turned "block bogon networks" off.
3. I have a known good NIC, the i226 and Linux Bridges do not have a firewall check, not that it matters to me, i have passed trough the NIC to the op>
4. I have also already done some sysctl tuning:
kern.ipc.nmbclusters - 1000000
net.inet.rss.enabled - 1
net.isr.dispatch - deferred
net.isr.maxthreads - -1
net.isr.bindthreads - 1
5. Already did that
6. D

WAN katkemis mure

Ruuteril WAN NIC sureb maha ja ei suuda taastada ennast, peab kaablit mitu korda lahti ja tagasi ühendama, et lõpuks WAN tööle hakkaks.

Olen juba proovinud

Olen proovinud kaabli otsasid välja vahetada, kaableid ise välja vahetada, aga ikka sama jama. Eelmise TP-Link ruuteriga ei olnud seda probleemi.

Proov 1:

Aitas kui lülitada WAN NIC-il hardware offload maha: Interfaces > WAN

Ei aidanud :)

Proov2: sain korda?

Vist leidsin mure üles, ISP kaabli ots vist on pekkis ja see oleks vaja välja vahetada kuna kui PoE injector sai pandud väikse karbi peale, siis enam mure ei tekkinud.
Imelik see, et ma varem proovisin seda juhet tõmmata ja ringi liigutada kui ta pesas oli, et näha kas kaob WAN ära, aga ei kadunud...

Võrgu diagramm

Diagrammi loomiseks kasutusel MkDocs sisse ehitatud Mermaid.js, saab kiirelt testida ja luua läbi Mermaid Live Editor

%% Ei saa kasutada nimes sidekriipsu kuna see annab syntax error
%% Github-is oli ammu selle kohta postitus, öeldi, et tehti korda, aga ei tehtud ikkagi

architecture-beta
    service ISP(streamline-sharp:cellular-network-5g)[ISP router]
    group network
        %% Network devices
        service switch(clarity:network-switch-line)[Switch] in network
        service router(simple-icons:opnsense)[OPNsense] in network
        service wifiAP(streamline:wifi-router)[TPLink wifi AP] in network
        %% Other network devices
        service tv(iconoir:modern-tv-4k)[TV] in network
        service pc(game-icons:pc)[PC] in network

    group homelab(streamline:database-server-1)[homelab] in network
        service server(simple-icons:proxmox)[Server] in homelab
        junction homelabC in homelab

            service arr_stack(simple-icons:docker)[Arr Stack] in homelab
            service vm_player(simple-icons:kodi)[VM Player] in homelab
            service vm_drops(simple-icons:twitch)[VM TDrops] in homelab

    ISP:B --> T:router

    %% Network
    router:L --> R:switch
    router:B --> T:wifiAP

    %% Homelab
    wifiAP:L --> R:server{group}
        server:L -- R:homelabC
        %% Homelab junction
        homelabC:B --> L:arr_stack
        homelabC:L --> R:vm_player
        homelabC:B --> R:vm_drops

    %% Other network devices
    wifiAP:B --> T:tv
    switch:L --> R:pc