Sebelumnya kita sudah mengenalkan secara singkat bagaimana cara menggunakan chainner untuk upscale, disebutkan bahwa diperlukan pretrained model agar proses upscale bisa berlangsung. Tapi sebenarnya pretrained model itu apa sih?
Sebenarnya pretrained model ada banyak macamnya. Ada banyak orang yang terus mengembangkan dan menyempurnakan model ini agar mampu melakukan upscale dengan lebih baik.
Kamu bisa pilih yang ringan agar komputer tidak terlalu lama melakukan proses upscaling, atau sebaliknya, pilih yang berat untuk hasil upscale yang lebih baik. Kamu juga bisa menyesuaikan model sesuai dengan gambar yang kamu upscale, apkaah digital art, foto, atau video.
Simaak penjelasan di bawah untuk lebih jelasnya.
Mengenal Pretrained Model
ChaiNNer adalah platfrom yang memungkinkan penggunanya untuk mengaplikasikan pretrained model dalam bentuk GUI (Graphical User Interface) yang dikaitkan. Makannya, pretrainned model menjadi sesuatu yang tidak terpisahkan dalam chaiNNer.
Pretrained model adalah neural network yang yang disimpan setelah dilatih pada dataset besar untuk memecahkan masalah tertentu. Dalam kasus upscale, pretrained model dilatih untuk melakukan proses upscale.
Pretrained model erat kaitanya dengan artificial intelligence dan machine learning. Dalam kasus upscale, pretrained model ini sebelumnya sudah dilatih dengan gambar resolusi rendah yang kemudian mengalapi proses upscaling dengan baik.
Dari banyak gambar tersebut, model ini bisa belajar apa saja yang perlu dirubah agar sebuah gambar bisa mengalami upscale dengan baik. Data neural network tersebut disimpan dalam pretrained model yang bisa diterapkan ke gambar lain untuk mendapatkan hasil serupa.
Mengapa pretrained model itu penting? Bayangkan kalau kalian harus melatih model neural network dari awal setiap kali kalian ingin melakukan tugas seperti upscaling gambar. Itu akan memakan waktu yang lama, bukan? Plus, memerlukan banyak data dan sumber daya komputasi.
Nah, dengan pretrained model, kita bisa melewati tahap pelatihan awal tersebut. Model sudah dilatih di data besar (biasanya pada tugas seperti pengenalan gambar atau bahasa), dan kini siap untuk digunakan pada tugas yang lebih spesifik.
Model ini menggunakan beberapa format arsitektur dasar, seperti PyTorch, ONNX, atau NCNN. ChaiNNer mendukung model dengan format tersebut. Kebanyakan model yang tersedia menggunakan format PyTorch. (.pth).
Jadi, sekarang kalian mengerti betapa pentingnya pretrained model dalam dunia pengolahan gambar dan AI, kan? Jangan ragu untuk bereksperimen dan mencoba berbagai model dalam chaiNNer untuk melihat hasil yang bisa kalian capai. Ini bisa jadi alternatif untuk aplikasi edit foto.
Di Mana Letak Pretrained Model?
Sekarang kita tahu kalau chaiNNer memungkinkan orang yang tidak mengerti coding atau programming untuk menggunakan pretrained model dalam proses upscale image. Tapi apakah kalian tahu di mana letak pretrained model?
Ketika merangkai node dalam aplikasi chaiNNer, node “Load Model” digunakkan untuk memasukkan pretrained model. Node ini bisa dicabangkan dari node “upscale image“.
Oke, sekarang kamu sudah tahu di mana meletakkan node model untuk proses upscale menggunakan chaiNNer. Tapi, dimana kalau mau download pretrained model?
Ada beberapa cara untuk mendapatkan pretrained model untuk upscale.
Apa saja Pretrained Model yang Bisa Kamu Pilih?
Ketika kamu mengunjungi halaman discord, mungkin hanya ada beberapa model yang bisa kamu pilih. Namun ketika membuka model database, ternyata ada ratusan model yang bisa kamu pilih.
Masing-masing model ini memiliki banyak perbedaan, mulai dari materi yang digunakan untuk training, hingga beban resources. Jadi, bisa saja satu model memiliki kemampuan menghasilkan gambar yang lebih bersih, namun menggunakan beban resources yang tinggi.
Selain itu, perbedaan lain biasanya terletak pada skala. Ada yang 2x, 3x, 4x, dan seterusnya.
ESRGAN (Enhanced Super Resolution Generative Adversarial Networks)
Seperti yang disebutkan sebelumnya, ESRGAN adalah salah satu model paling populer untuk upscaling. Ini menggunakan teknik deep learning untuk menghasilkan gambar dengan resolusi tinggi dari gambar dengan resolusi rendah, sering kali menghasilkan detail yang tajam dan jernih.
Sebenarnya, selain menggunakan chaiNNer, bisa juga menggunakan IEU dan Cupscale untuk menjalankan model ini.
- Universal Models
Sesuai namanya, universal models umumnya bisa digunakan pada berbagai foto. Umumnya, model ini memiliki kemampuan untuk meningkatkan detail dan kualitas gambar secara umum dengan kemampuan skala 4x.
Model-model ini dibuat oleh berbagai penulis dan memiliki lisensi, arsitektur, dan tujuan yang berbeda-beda. Misalnya, “CountryRoads” dari EzoGaming difokuskan pada upscaling adegan outdoor dan jalanan dengan dedaunan lebat.
Selain itu, “UniScaleNR-Balanced/Strong” dilatih khusus untuk menghilangkan noise dari gambar saat melakukan proses upscale, sedangkan “UniScale_Restore” memiliki kemampuan yang kuat dalam mengembalikan kualitas gambar yang sangat terkompresi atau memiliki banyak noise.
nb: NR disini adalah singkatan dari Noise Reduction
- Realistic Photos
Model-model ini telah dikembangkan oleh berbagai penulis dan dibuat untuk meningkatkan kualitas dan detail foto realistis, termasuk foto dengan tekstur rendah atau foto yang telah terkompresi. Model ini akan membuat foto tetap tampak nyata dan natural dengan skala 4x.
Misalnya, model “4x_RealisticRescaler_100000_G” yang dibuat oleh Mutin Choler dirancang khusus untuk meningkatkan tekstur realistis yang memiliki resolusi rendah dan telah terkompresi. Model ini terbukti bekerja dengan baik pada tekstur GameCube yang realistis seperti pada game Shrek Extra Large dan tekstur papan dari game Mario Party 4.
Model lain seperti “4x-Valar” oleh musl dirancang sebagai eksperimen untuk menguji teknik-teknik terbaru dalam pembelajaran mesin, termasuk penggunaan AdaTarget, KernelGAN, dan sebagainya. Sementara “Nickelback” dan “NickelbackFS” oleh BlackScout dirancang untuk meningkatkan hasil yang telah dicapai oleh model ESRGAN standar, dengan fokus pada mempertahankan detail tanpa menghasilkan pola yang terlalu tajam atau kabur.
Ini bisa jadi alternatif Aplikasi Kamera Terbaik untuk Smartphoneuntuk memproses foto agar hasilnya lebih menawan.
- Art Pixel Art
Kalau model ini digunakan untuk karya seni gambar dalam bentuk digital dan berbagai jenis seni lainnya. Ada banyak model dengan berbagai skala dan fungsi khusus yang bisa dipilih.
Baca Juga
Salah satu contoh adalah model “4x_xbrz_90k” yang diciptakan oleh LyonHrt. Model ini dirancang khusus untuk meningkatkan kualitas pixel art dengan gaya Xbrz. Model lain, seperti “Rebout Blend” oleh peltih yang sama diciptakan dengan fokus pada peningkatan sprite karakter dengan menggunakan set data yang disiapkan khusus dari kof 94 rebout.
Model “Arzenal (v1.1)” oleh ComputerK mencakup tekstur pixel art umum hingga tekstur Minecraft, menghasilkan gambar yang halus dan mendetail. Sementara model “4x_BS_Deviance” oleh systemd-resolved/BlackScout adalah model yang dirancang untuk meng-upscaledrawing digital, terutama yang ditemukan di DeviantArt.
Model-model ini menggabungkan berbagai teknik dan pendekatan untuk menciptakan hasil terbaik. Mereka dilatih menggunakan set data yang beragam, mulai dari anime, manga, hingga gambar kehidupan nyata. Semua model ini mencerminkan tingkat keahlian, pengetahuan, dan dedikasi yang luar biasa dari para pembuatnya dalam memaksimalkan kualitas seni dan pixel art.
- Drawn Materials
Jika sebelumnya digunaka untuk gambar digital, yang satu ini lebih fokus kepada material gambar. Banyak model ini dikhususukan dengan gambar gaya tertentu, seperti anime, Sponge Bob, dan kaya kartun lainnya. Skala yang tersedia juga variatif, mulai dari 1x, 2x, 4x, dan 8x.
Official Research Models
Model official atau resmi adalah daftar model dari orang-orang yang memang melakukan riset mengenai upscale atau Super Resolution ini, seperti pada ESRGAN.
Jadi, jika kamu menggunakan model resmi ini, biasanya juga disertai paper. Berikut beberapa modelnya
ESRGAN Arch
- 4xESRGAN
- 2xBSRGAN
- 4xBSRGAN
Compact Arch
- RealESRGANv2-animevideo-xsx2
- realesr-animevideov3
- realesr-general-wdn-x4v3
SwinIR
- 003_realSR_BSRGAN_DFOWMFC_s64w8_SwinIR-L_x4_GAN
- 003_realSR_BSRGAN_DFO_s64w8_SwinIR-M_x2_GAN
- 002_lightweightSR_DIV2K_s64w8_SwinIR-S_x2
SOFVSR
SOF-VSR atau Super-resolving Optical Flow for Video Super-Resolution adalah teknologi canggih yang bisa memainkan peran penting dalam meningkatkan resolusi video. Metode ini didesain khusus untuk menangani tantangan yang sering muncul dalam proses super-resolusi video, yaitu mengintegrasikan dengan baik informasi dari berbagai frame sekaligus mempertahankan detail penting dalam setiap frame.
Proses ini melibatkan penggunaan ‘Optical Flow‘, suatu teknik yang memetakan gerakan objek dan perubahan intensitas dalam serangkaian gambar. Dengan demikian, SOF-VSR mampu menghasilkan gambar dengan kualitas yang lebih tinggi dan lebih detail dari aslinya, bahkan ketika sumber video memiliki resolusi yang rendah.
RIFE
Singkatan dari Real-Time Intermediate Flow Estimation, model ini memiliki tujuan khusus untuk interpolasi animasi. Model ini hadir dengan skala 2x dan berlisensi CC BY-NC-SA 4.0.
model ini ditawarkan dengan kualitas yang dianggap lebih baik dari versi sebelumnya, yaitu rife4 dan rife4.2.
Dengan model ini, animasi yang kamu ciptakan bisa menjadi lebih dinamis dan hidup. Selain itu, model ini juga telah dikonversi ke ncnn, sehingga mampu memberikan pengaturan kualitas yang beragam.
CAIN
Channel Attention Is All You Need for Video Frame Interpolation atau dalam bahasa Indonesia bisa diartikan sebagai “Perhatian saluran adalah semua yang Anda butuhkan untuk interpolasi frame video”. CAIN adalah jaringan interpolasi yang sangat cepat dan tidak menggunakan banyak memori video (Contoh: 5GB dengan fp16 untuk 8k).
CAIN adalah sebuah kecerdasan buatan yang digunakan untuk interpolasi frame video. Sebelumnya digunakan untuk aplikasi CainApp saja, sekarang model ini juga bisa digunakan di chaiNNer.
Waifu2x
Waifu2X adalah upscale pretrained model yang digunakan untuk image dengan gaya kartun manga atau anime. Model yang memungkinkan image super resolution untuk anime art ini menggunakan deep convilutional neural networks.
Meski tujuan awalnya untuk gambar anime, tapi sebenarnya pretrained model ini juga mendukung foto biasa.
Awalnya terinspirasi dari SRCNN, kini waifu 2x juga diimplementasi ulang dalam PyTorch dengan tambahan super resolution models. Repo ini digunakan untuk menjelajahi models super resoution yang menarik.
Hasil Upscale
Akhir Kata
Begitulah beberapa penjelasan mengenai model yang bisa kamu pilih untuk digunakan ketika menggunakan chaiNNer App.
Kamu bisa bereksperimen untuk menemukan model mana yang cocok untukmu. Apakah kamu mencari model yang mampu menghasilkan resolusi paling tinggi dengan mempertahankan detail, atau mencari model yang mampu memproses gambar dengan cepat dan resource rendah.
Jadi, kalau kamu mau Mengubah Ukuran Foto 3×4, kamu bisa mencoba model realistic atau universal.
Semoga artikel ini membantu, sampai bertemu di artikel Pintartekno berikutnya.
Baca juga artikel menarik seputar teknologi di Pintar Tekno yang terkait dengan atau artikel lainnya dari Mufid Hanif. Untuk informasi lebih lanjut atau kebutuhan lainnya, kamu bisa menghubungi kami melalui admin@pintartekno.id.
Sumber:
- How to upscale images with chaiNNer – https://www.youtube.com/watch?v=_r-nhJ_Cf1k&feature=youtu.be
