Nâng cao kỹ năng Stable Diffusion với hypernetwork

Bạn đã sẵn sàng để nâng cao kỹ năng Stable Diffusion của mình lên một tầm cao mới chưa? Nếu có, hãy cùng tìm hiểu về các mô hình hypernetwork. Trong bài viết này, bạn sẽ tìm hiểu mọi thứ cần biết về hypernetwork và cách sử dụng chúng để đạt được kết quả mà bạn đang tìm kiếm. Tôi sẽ đề cập đến tất cả từ cơ bản về một mô hình hypernetwork đến cách sử dụng nó với giao diện đồ họa AUTOMATIC1111 Stable Diffusion. Ngoài ra, tôi còn sẽ giới thiệu cho bạn một số hypernetwork yêu thích của riêng tôi mà tôi sử dụng trong công việc của mình. Vậy, hãy sẵn sàng và khám phá thế giới của các mô hình hypernetwork.

Hypernetwork trong Stable Diffusion là gì?

Hypernetwork là một kỹ thuật fine-tuning ban đầu được phát triển bởi Novel AI, một người sử dụng đầu tiên của Stable Diffusion. Đó là một mạng nơ-ron nhỏ được gắn vào mô hình Stable Diffusion để sửa đổi phong cách của nó.

Mạng hypernetwork nhỏ được chèn ở đâu? Đó là phần quan trọng nhất của mô hình Stable Diffusion: mô-đun cross-attention của bộ dự đoán nhiễu UNet. Các mô hình LoRA cũng tương tự nhưng sửa đổi phần này của các mô hình Stable Diffusion theo một cách khác.

Nó thường là một mạng nơ-ron đơn giản: một mạng tuyến tính kết nối đầy đủ với dropout và kích hoạt. Giống như những mạng bạn học trong khóa học giới thiệu về mạng nơ-ron. Chúng chiếm đoạt mô-đun cross-attention bằng cách chèn hai mạng để chuyển đổi các vectơ key và query. So sánh kiến trúc mô hình ban đầu và mô hình bị chiếm đoạt bên dưới.

The cross-attention module of the original Stable Diffusion model

Hypernetwork injects additional neural networks to transform keys and values

Trong quá trình huấn luyện, mô hình Stable Diffusion bị khóa lại nhưng hypernetwork được gắn vào được phép thay đổi. Vì mô hình này nhỏ, quá trình huấn luyện nhanh chóng và yêu cầu tài nguyên hạn chế. Huấn luyện có thể được thực hiện trên một máy tính thông thường.

Tốc độ huấn luyện nhanh và kích thước tệp nhỏ là những lý do chính khiến hypernetwork hấp dẫn.

Bạn nên nhận ra rằng đây KHÔNG phải là hypernetwork thông thường được biết đến trong học máy. Đó là một mạng tạo trọng số cho mạng khác. Vì vậy, không, hypernetwork của Stable Diffusion không được phát minh vào năm 2016.

Khác biệt so với các loại mô hình khác

Tôi sẽ giải thích sự khác biệt giữa hypernetwork và các loại mô hình khác để giúp bạn hiểu và quyết định sử dụng loại nào.

Phần này dành cho những người tò mò hoặc các nhà huấn luyện mô hình. Nếu bạn không quan tâm cách thức hoạt động, bạn có thể bỏ qua phần này và chuyển đến phần tiếp theo.

Mô hình kiểm tra (Checkpoint models)

Mô hình kiểm tra chứa tất cả thông tin cần thiết để tạo ra hình ảnh. Bạn có thể nhận ra chúng thông qua kích thước tệp lớn của chúng. Chúng dao động từ 2 đến 7 GB. Hypernetwork thường nhỏ hơn 200 MB.

Hypernetwork không thể hoạt động độc lập mà cần phải hoạt động cùng một mô hình kiểm tra để tạo ra hình ảnh.

Mô hình kiểm tra mạnh hơn mô hình hypernetwork. Nó có thể lưu trữ phong cách tốt hơn nhiều so với hypernetwork. Khi huấn luyện mô hình kiểm tra, toàn bộ mô hình được tinh chỉnh. Khi huấn luyện hypernetwork, chỉ hypernetwork được tinh chỉnh.

Mô hình LoRA (LoRA model)

Mô hình LoRA là loại mô hình tương tự nhất với hypernetwork. Chúng đều nhỏ và chỉ sửa đổi mô-đun cross-attention. Sự khác biệt nằm ở cách chúng được sửa đổi. Mô hình LoRA sửa đổi cross-attention bằng cách thay đổi trọng số. Hypernetwork làm điều này bằng cách chèn các mạng bổ sung.

Người dùng thường thấy mô hình LoRA tạo ra kết quả tốt hơn. Kích thước tệp của chúng tương đương, thường nhỏ hơn 200MB và nhỏ hơn rất nhiều so với mô hình kiểm tra.

LoRA là một phương pháp lưu trữ dữ liệu. Nó không xác định quá trình huấn luyện, có thể là dreambooth hoặc huấn luyện bổ sung. Hypernetwork xác định quá trình huấn luyện.

Embedding

Embedding là kết quả của phương pháp tinh chỉnh tài liệu gọi là textual inversion. Giống như hypernetwork, textual inversion không thay đổi mô hình. Nó chỉ xác định các từ khóa mới để đạt được các phong cách nhất định.

Textual inversion và hypernetwork hoạt động trên các phần khác nhau của mô hình Stable Diffusion. Textual inversion tạo ra các embedding mới trong bộ mã hóa văn bản. Hypernetwork chèn một mạng nhỏ vào mô-đun cross-attention của bộ dự đoán nhiễu.

Theo kinh nghiệm của tôi, embedding mạnh hơn một chút so với hypernetwork.

Nơi có thể tìm thấy hypernetwork

Nơi tốt nhất là civitai.com. Lọc các loại mô hình với Hypernetwork.

Xem thêm: Model CheckPoint và Lora trong Stable Diffusion là gì?

Cách sử dụng hypernetwork

Tôi sẽ hướng dẫn bạn cách sử dụng hypernetwork trong giao diện người dùng AUTOMATIC1111 Stable Diffusion GUI. Bạn có thể sử dụng GUI này trên Windows, Mac hoặc Google Colab.

Bước 1: Cài đặt một mô hình hypernetwork

Để cài đặt các mô hình hypernetwork trong AUTOMATIC1111 webui, đặt các tệp mô hình vào thư mục sau.

Bước 2: Sử dụng một mô hình hypernetwork

Để sử dụng mô hình này, đặt cụm từ sau vào prompt.

“filename” là tên tệp của hypernetwork, loại bỏ phần mở rộng (.pt, .bin, vv).

“multiplier” là trọng số được áp dụng cho mô hình này. Mặc định là 1. Đặt nó thành 0 để tắt mô hình.

Làm thế nào để bạn có thể chắc chắn rằng tên tệp chính xác? Thay vì viết cụm từ này, bạn nên nhấp vào nút mô hình dưới nút “Generate”.

Nhấp vào tab Hypernetworks. Bạn sẽ thấy danh sách các hypernetwork đã cài đặt. Nhấp vào hypernetwork mà bạn muốn sử dụng.

Cụm từ hypernet sẽ được chèn vào prompt.

Lưu ý rằng cụm từ hypernet không được xem là một phần của prompt. Nó chỉ định sử dụng hypernetwork nào. Nó sẽ bị loại bỏ sau khi hypernetwork được áp dụng. Vì vậy, bạn không thể sử dụng bất kỳ cú pháp prompt nào như [keyword1: keyword2: 0,5] với chúng.

Bước 3: Kiểm tra và tạo nghệ thuật với mô hình

Để tăng cơ hội thành công trong việc giải mã phong cách dự định, bạn nên bắt đầu bằng cách sử dụng nó với mô hình đã được huấn luyện. Nhưng đừng dừng lại ở đó. Một số hypernetwork yêu cầu prompt cụ thể hoặc chỉ hoạt động với một số chủ đề cụ thể, vì vậy hãy chắc chắn kiểm tra các ví dụ prompt trên trang mô hình để xem điều gì hoạt động tốt nhất.

Và đây là một lời khuyên chuyên nghiệp: nếu bạn nhận thấy hình ảnh của mình trông hơi quá bão hòa, có thể đó là dấu hiệu rằng bạn cần điều chỉnh trọng số. Điều này dễ dàng sửa chữa. Stable Diffusion đôi khi hiểu sự bão hòa màu sắc là cách hoàn hảo để đạt được mục tiêu, nhưng giảm trọng số có thể giúp đưa mọi thứ trở lại cân bằng.

Sau khi bạn xác nhận rằng hypernetwork của mình đang hoạt động tốt, tại sao không thử nghiên cứu sử dụng nó trên các mô hình khác? Bạn không bao giờ biết được những tác động thú vị và không mong đợi nào có thể xảy ra, và hãy thật sự thú vị khi chơi xung quanh. Vì vậy, hãy để sáng tạocủa bạn thảnh thơi mà bay cao.

Một số hypernetworks tôi sử dụng

Đây là lựa chọn thiên vị của tôi về các hypernetwork.

Water Elemental

Water Elemental là một hypernetwork độc đáo có thể biến bất cứ thứ gì thành nước! Sử dụng cụm từ “water elemental” trước chủ đề. Hãy chắc chắn mô tả phông nền. Bạn có thể sử dụng hypernetwork này với Stable Diffusion v1.5. Thay đổi trọng số của hypernetwork để điều chỉnh hiệu ứng nước.

Trang Mô hình Hypernetwork Water Elemental

Prompt:

Prompt:

InCase Style

InCase Style được sử dụng với mô hình Anything v3. Nó sửa đổi mô hình Anything v3 để tạo ra một phong cách anime trưởng thành hơn.

Trang Mô hình Hypernetwork InCase

Trang Mô hình Anything v3

Prompt:

Negative prompt:

Gothic RPG Artstyle

Gothic RPG Artstyle tạo ra một phong cách minh họa đơn sắc đẹp mắt. Sử dụng với mô hình Protogen.

Trang Mô hình Hypernetwork Gothic RPG Artstyle

Trang Mô hình Protogen v2.2

Prompt:

Để biết thêm thông tin chi tiết về Stable Diffusion có thể tìm hiểu thêm tại khóa học Stable Diffusion – Midjourney tại Arcline Academy hoặc có thể tham khảo thêm thông tin các khóa học khác tại đây       

Trụ sở chính: 32/19 Nghĩa Hòa, Phường 06, Q. Tân Bình, TPHCM (Nhà Thờ Nghĩa Hòa – Khu Bắc Hải)

Trụ sở miền Tây: L30-09, Đường số 43, Khu Dân cư Stella Megacity, P. Bình Thủy, Q. Bình Thủy, Tp. Cần Thơ

Hotline: 0988 363 967