SDXL là gì? Hướng dẫn sử dụng mô hình SDXL

SDXL là gì?

SDXL (Software Development eXtensible Language) model 0.9 đã đem đến một bước tiến đáng kinh ngạc trong việc tạo ra những hình ảnh tuyệt đẹp và chân thực. Với sự kết hợp của khả năng học sâu và tính linh hoạt của SDXL, phiên bản 0.9 đã nâng cao khả năng tạo ra các hình ảnh đẹp mắt và độc đáo một cách ấn tượng.

Trên hành trình khám phá nghệ thuật tạo hình ảnh, SDXL model 0.9 đã trở thành một công cụ đáng kinh ngạc. Từ việc tạo ra cảnh quan thiên nhiên tươi đẹp đến những hình ảnh trừu tượng độc đáo, SDXL model 0.9 có khả năng sáng tạo vô tận. Điều đáng ngạc nhiên là mọi hình ảnh được tạo ra đều có tính thẩm mỹ và sự chân thực rất cao.

Trong bài viết này, chúng ta sẽ khám phá những hình ảnh tuyệt đẹp được tạo ra bởi SDXL model 0.9. Bạn sẽ được trải nghiệm những cung cấp công cụ và kỹ thuật cần thiết để tạo ra những hình ảnh này. Chúng ta sẽ tìm hiểu về quy trình tạo hình ảnh, từ việc lựa chọn và xử lý dữ liệu đầu vào đến tinh chỉnh và tạo nét cuối cùng của hình ảnh.

Dù bạn là một nghệ sĩ đồ họa mong muốn khám phá tiềm năng sáng tạo của SDXL model 0.9 hay một nhà phát triển muốn thêm khả năng tạo hình ảnh vào ứng dụng của mình, bài viết này sẽ cung cấp cho bạn những cái nhìn thú vị và động lực để khám phá thế giới nghệ thuật đầy màu sắc với SDXL model 0.9. Hãy sẵn sàng để khám phá và chiêm ngưỡng những hình ảnh tuyệt vời mà SDXL model 0.9 có thể tạo ra!

Hướng dẫn sử dụng mô hình SDXL

Stability AI, nhà phát triển của Stable Diffusion, đã phát hành phiên bản SDXL model 0.9. Đây là một cải tiến so với phiên bản SDXL Beta trước đây và mô hình v1.5 phổ biến.

Bài viết này sẽ trình bày:

SDXL model là gì.
So sánh các hình ảnh được tạo bằng các mô hình v1 và SDXL.
Chạy SDXL với phần mở rộng AUTOMATIC1111.
Chạy SDXL với SD.Next. (Windows)
Nếu bạn muốn thử SDXL một cách nhanh chóng, sử dụng nó với phần mở rộng AUTOMATIC1111 là cách đơn giản nhất. SD.Next dành cho những người ưa thích môi trường tích hợp hơn.

SDXL model là gì?

SDXL model là bản nâng cấp chính thức cho mô hình v1.5. Mô hình này được phát hành dưới dạng phần mềm mã nguồn mở.

Đây là một mô hình lớn hơn đáng kể. Trong thế giới trí tuệ nhân tạo, chúng ta có thể mong đợi rằng nó sẽ tốt hơn. Tổng số lượng tham số của mô hình SDXL là 6,6 tỷ, so với 0,98 tỷ của mô hình v1.5.

Sự khác biệt giữa mô hình SDXL và mô hình v1.5

Mô hình SDXL bao gồm hai mô hình – mô hình cơ bản và mô hình tinh chỉnh (hình từ bài báo nghiên cứu).

Mô hình SDXL thực tế là hai mô hình. Bạn chạy mô hình cơ bản, sau đó là mô hình tinh chỉnh. Mô hình cơ bản xác định cấu trúc toàn cầu. Mô hình tinh chỉnh thêm các chi tiết tinh tế. (Bạn có thể chạy mô hình cơ bản một mình nếu muốn.)

Mô hình ngôn ngữ (module hiểu các yêu cầu của bạn) là sự kết hợp của mô hình OpenClip lớn nhất (ViT-G/14) và CLIP ViT-L độc quyền của OpenAI. Đây là một lựa chọn thông minh vì Stable Diffusion v2 chỉ sử dụng OpenClip mà thôi và khó khăn khi yêu cầu. Việc đưa lại CLIP của OpenAI làm cho việc yêu cầu trở nên dễ dàng hơn. Các yêu cầu hoạt động trên v1.5 có khả năng hoạt động tốt trên SDXL.

Mô hình SDXL có một điều kiện kích thước ảnh mới nhằm sử dụng ảnh huấn luyện nhỏ hơn 256×256. Điều này tăng đáng kể dữ liệu huấn luyện bằng cách không loại bỏ 39% ảnh.

U-Net, phần quan trọng nhất của mô hình diffusion, hiện đã lớn gấp 3 lần. Cùng với mô hình ngôn ngữ lớn hơn, mô hình SDXL tạo ra các hình ảnh chất lượng cao khớp chính xác với yêu cầu.

Kích thước ảnh mặc định của SDXL là 1024×1024. Điều này lớn gấp 4 lần so với mô hình v1.5 có kích thước 512×512.

Ảnh mẫu từ SDXL

Người dùng thường ưu tiên mô hình SDXL hơn mô hình 1.5 (hình từ bài báo nghiên cứu)

Theo nghiên cứu của Stability AI, phần lớn người dùng thích các hình ảnh từ mô hình SDXL hơn so với mô hình cơ bản v1.5. Bạn sẽ tìm thấy một loạt hình ảnh được tạo ra với các yêu cầu tương tự từ các mô hình v1.5 và SDXL 0.9. Bạn có thể tự quyết định.

Hình ảnh thực tế

Trước tiên, chúng ta hãy so sánh các hình ảnh thực tế được tạo ra bằng cách sử dụng yêu cầu trong hướng dẫn về người thực tế.

Yêu cầu:

ảnh của phụ nữ da trắng trẻ tuổi, tóc nổi bật, ngồi ngoài nhà hàng, mặc váy, ánh sáng viền, ánh sáng phòng thu, nhìn vào camera, máy ảnh DSLR, chất lượng siêu cao, nét sắc, tiêu điểm nét, độ sâu trường ảnh, hạt mờ phim, Fujifilm XT3, rõ ràng như pha lê, 8K UHD, đôi mắt bóng loáng với chi tiết cao, da chi tiết cao, lỗ chân lông da

Yêu cầu phủ định:

biến dạng, xấu xí, tồi tệ, chưa trưởng thành, phim hoạt hình, anime, 3D, hội họa, đen trắng

Tất cả các thông số trừ kích thước ảnh được giữ nguyên để so sánh. Kích thước cho các mô hình v1 là 512×512. Kích thước cho mô hình SDXL là 1024×1024.

Đây là những hình ảnh SD 1.5.

SD V1.5

Đây là mô hình cơ bản.

SDXL cơ bản

Đây là mô hình cơ bản kèm theo mô hình tinh chỉnh.

SDXL cơ bản + mô hình tinh chỉnh

Như bạn có thể thấy, mô hình tinh chỉnh là cần thiết để tạo ra các hình ảnh sống động như thật.

Việc sử dụng mô hình cơ bản v1.5 không thể thể hiện đúng công bằng cho các mô hình v1. Hầu hết người dùng sử dụng các mô hình v1.5 đã được điều chỉnh tốt để tạo ra những hình ảnh người thực tế. Vì vậy, dưới đây là kết quả sử dụng URPM, một mô hình thực tế xuất sắc.

URPM (được điều chỉnh tốt từ v1.5)

Dưới đây là một bộ ảnh so sánh khác sử dụng giá trị khởi tạo khác nhau.

SD V1.5

SDXL cơ bản

SDXL cơ bản + mô hình tinh chỉnh

URPM (được điều chỉnh tốt từ v1.5)

Mô hình cơ bản của SDXL đã tạo ra một hình ảnh có thể sử dụng trong bộ này, mặc dù khuôn mặt trông hơi mịn quá đối với một hình ảnh thực tế. Mô hình tinh chỉnh thêm những chi tiết thực tế đẹp cho khuôn mặt.

Văn bản dễ đọc

Khả năng tạo ra văn bản chính xác đã nổi bật như một khả năng đột phá khi tôi thử nghiệm mô hình SDXL Beta. SDXL ít nhất cũng nên tốt như vậy.

Yêu cầu:

Một nhà hàng fast food trên mặt trăng mang tên “Moon Burger”

Yêu cầu phủ định:

biến dạng, xấu xí, tồi tệ, chưa trưởng thành, phim hoạt hình, anime, 3D, hội họa, đen trắng

Dưới đây là các hình ảnh từ mô hình cơ bản của SDXL và mô hình cơ bản của SDXL kèm theo mô hình tinh chỉnh.

SDXL cơ bản

SDXL cơ bản + mô hình tinh chỉnh

Nói cách khác, mô hình cơ bản v1.5 đã thất bại thảm hại. Không chỉ không tạo ra văn bản dễ đọc, mà nó cũng không thể tạo ra một hình ảnh chính xác.

Mô hình v1.5

Phong cách Anime

Hãy so sánh các hình ảnh với phong cách Anime.

Yêu cầu:

anime, sống động như thật, một cô gái, xương cổ, tóc xoăn, nhìn vào người xem, phần trên cơ thể, dây chuyền cổ, hoa văn hoa, đuôi ngựa, tàn nhang, tóc đỏ, ánh nắng mặt trời

Yêu cầu phủ định:

biến dạng, xấu xí, tồi tệ, chưa trưởng thành, ảnh, nghiệp dư, quá phơi sáng, dưới sáng

Dưới đây là các hình ảnh từ các mô hình SDXL có và không có mô hình tinh chỉnh.

SDXL cơ bản

SDXL cơ bản + mô hình tinh chỉnh

Dưới đây là các hình ảnh từ mô hình v1.5 và mô hình Anything v4.5 (được điều chỉnh tốt từ v1.5).

Mô hình v1.5

Mô hình Anything v4.5

Mô hình cơ bản của SDXL tạo ra các hình ảnh Anime tuyệt vời. Những hình ảnh này rất tốt cho một mô hình cơ bản. Mô hình tinh chỉnh sẽ thêm các chi tiết tốt nhưng sẽ có một số chi tiết lặp lại. Để đạt được một phong cách cụ thể, có thể cần các mô hình điều chỉnh tốt tuỳ chỉnh như v1.

Cảnh quan

Cuối cùng là một số hình ảnh mẫu của một thành phố với yêu cầu đơn giản.

Yêu cầu:

Bức tranh về một thành phố đẹp do Brad Rigney vẽ.

SDXL cơ bản

SDXL cơ bản + mô hình tinh chỉnh.

So sánh hình ảnh từ mô hình v1.5.

Mô hình SD v1.5

Xem thêm: tìm hiểu về Model CheckPoint và Lora trong Stable Diffusion là gì?

Chạy mô hình SDXL bằng cách sử dụng phần mở rộng AUTOMATIC1111

Hiện tại, AUTOMATIC1111 (giao diện đồ họa người dùng) vẫn chưa hỗ trợ SDXL một cách tự nhiên. Một giải pháp tạm thời là sử dụng phần mở rộng SDXL Demo để chạy mô hình SDXL.

Bạn có thể thiết lập AUTOMATIC1111 trên Google Colab, Windows hoặc Mac.

Cài đặt phần mở rộng SDXL Demo trên Windows hoặc Mac

Để cài đặt phần mở rộng SDXL Demo, điều hướng đến trang Extensions trong AUTOMATIC1111. Chuyển đến tab Install from URL. Nhập địa chỉ URL sau vào trường URL for extension’s git repository.

https://github.com/lifeisboringsoprogramming/sd-webui-xldemo-txt2img

Nhấp vào Install và chờ đợi xác nhận rằng phần mở rộng đã được cài đặt thành công.

Khởi động lại AUTOMATIC1111.

Cài đặt phần mở rộng SDXL Demo trên Google Colab

Cài đặt phần mở rộng SDXL Demo trên sổ ghi chú Colab của trang web rất dễ dàng. Nhập địa chỉ URL của phần mở rộng vào trường Extensions_from_URL.

https://github.com/lifeisboringsoprogramming/sd-webui-xldemo-txt2img

Bắt đầu Sổ ghi chú Colab như thông thường.

Thiết lập phần mở rộng SDXL

Bước 1. Điền vào biểu mẫu thỏa thuận

Điền vào Biểu mẫu này trên HuggingFace. Nếu bạn không thấy biểu mẫu, điều đó có nghĩa là bạn đã điền thông tin vào trước đó hoặc không còn cần thiết nữa.

Bước 2. Tạo mã truy cập Huggingface

Truy cập vào trang này, tạo và sao chép mã truy cập.

Nhấp vào New Token, đặt tên và sao chép nó.

Bước 3. Nhập mã truy cập

Trong AUTOMATIC1111 Web-UI, điều hướng đến trang Settings.

Chọn mục SDXL Demo bằng cách sử dụng lựa chọn trong bảng điều khiển bên trái.

Nhập mã truy cập của bạn vào trường Huggingface access token.

Chọn SDXL 0.9 (fp16) trong trường Model.

Nhấp vào Apply Settings.

Khởi động lại AUTOMATIC1111 để có hiệu lực.

Đối với người dùng Google Colab, bạn cần dừng và khởi động lại cell. Đừng ngắt kết nối với runtime.

Bạn sẽ thấy mô hình được tải xuống trong lần khởi động tiếp theo.

Bây giờ, quá trình thiết lập đã hoàn tất.

Sử dụng phần mở rộng SDXL Demo

Mô hình cơ bản:

Để sử dụng mô hình cơ bản SDXL, điều hướng đến trang SDXL Demo trong AUTOMATIC1111.

Giao diện tương tự trang txt2img. Nhập một yêu cầu và nhấn Generate để tạo ra một hình ảnh.

Mô hình tinh chỉnh:

Để sử dụng mô hình tinh chỉnh, chọn hộp kiểm Refiner. Một bảng vẽ hình ảnh sẽ xuất hiện.

Tải lên hình ảnh được tạo ra từ mô hình cơ bản lên bảng vẽ hình ảnh.

Nhấp vào Refine để chạy mô hình tinh chỉnh.

Chạy mô hình SDXL với SD.Next

Khi viết bài này, AUTOMATIC1111 (giao diện đồ họa người dùng tôi ưa thích) vẫn chưa hỗ trợ SDXL trong phiên bản ổn định. Tôi chắc rằng sẽ có hỗ trợ trong tương lai. Nhưng trong thời điểm hiện tại, một lựa chọn tốt khác là SD.Next. Đây là một lựa chọn tốt được xây dựng dựa trên AUTOMATIC1111, vì vậy bạn sẽ thấy giao diện của họ tương tự.

Yêu cầu phần cứng

Bạn nên có một card đồ họa Nvidia riêng (GPU) với ít nhất 12 GB VRAM và máy tính chạy hệ điều hành Windows.

Cài đặt SD.Next trên Windows

(Bạn không cần thực hiện các bước 1 và 2 nếu bạn đã có AUTOMATIC1111 chạy trên máy tính của bạn.)

Bước 1: Cài đặt Python

Bạn sẽ cần Python 3.10. Cài đặt từ Microsoft Store là tùy chọn dễ nhất.

Bước 2: Cài đặt git

Git là hệ thống quản lý kho mã nguồn. Bạn sẽ cần nó để cài đặt và cập nhật AUTOMATIC1111.

Mở trình cài đặt. Nhấp vào Install để chấp nhận giấy phép và cài đặt phần mềm.

Bước 3: Sao chép SD.Next

Nhấn phím Windows (Nó nằm bên trái của phím dấu cách trên bàn phím của bạn). Một cửa sổ tìm kiếm sẽ xuất hiện. Nhập “powershell”. Nhấp vào Biểu tượng Windows PowerShell để khởi chạy ứng dụng PowerShell.

Nhập lệnh sau và nhấn Enter để sao chép SD.Next vào máy tính của bạn.

git clone https://github.com/vladmandic/automatic

Bước 4: Chạy SD.Next

Mở ứng dụng File Explorer.

Trong thanh địa chỉ, điều hướng đến địa chỉ sau:

%userprofile%\automatic

Tìm tệp có tên webui.bat. Nếu bạn không thấy phần mở rộng .bat, tìm tệp webui với loại tệp Windows Batch File.

Nhấp đúp vào tệp webui.bat để khởi chạy SD.Next.

Nhấp đúp vào tệp webui.bat để chạy lại nếu bạn gặp lỗi sau đây.

ImportError: cannot import name ‘deprecated’ from ‘typing_extensions’

Lỗi này sẽ được khắc phục sau lần chạy thứ 2.

Nhập y và nhấn Enter khi được hỏi liệu bạn có muốn tải xuống mô hình mặc định hay không.

Cài đặt hoàn tất khi bạn nhìn thấy thông báo Local URL, mặc định là http://127.0.0.1:7860/.

Bước 5: Truy cập vào giao diện người dùng trên trình duyệt

Truy cập địa chỉ URL cục bộ trên trình duyệt để bắt đầu SD.Next.

http://127.0.0.1:7860/

Bạn nên thấy một giao diện người dùng rất tương tự giao diện Web-UI của AUTOMATIC1111.

Thử tạo một hình ảnh với một yêu cầu đơn giản (ví dụ: một con mèo) và nhấn Generate để đảm bảo nó hoạt động đúng.

Tải xuống mô hình SDXL

Bạn sẽ cần tải xuống mô hình SDXL để sử dụng với SD.Next. Lưu ý rằng có một bản sao SDXL độc hại tồn tại, vì vậy bạn nên tải xuống từ kho lưu trữ chính thức.

Bạn sẽ cần một tài khoản HuggingFace miễn phí cho các bước sau.

Bước 1. Điền vào biểu mẫu thỏa thuận

Bước 2. Tạo mã truy cập Huggingface

Điều hướng đến trang này, tạo và sao chép mã truy cập.

Nhấp vào New Token, đặt tên và sao chép nó.

Bước 3. Tải xuống mô hình cơ bản

Trong SD.Next Web-UI, điều hướng đến trang Models và tab Huggingface.

Trong trường Select model, nhập vào nội dung sau.

stabilityai/stable-diffusion-xl-base-0.9

Nhập mã truy cập của bạn vào trường Huggingface token.

Nhấn Download Model.

Kiểm tra quá trình tải xuống trong cửa sổ console.

Chờ đợi cho quá trình hoàn thành.

Nhấn nút Download lại nếu bạn nhận được lỗi read time-out.

Bước 4. Tải xuống mô hình tinh chỉnh

Lặp lại bước 3 với nội dung sau trong trường Select model.

stabilityai/stable-diffusion-xl-refiner-0.9

Bây giờ bạn đã hoàn tất việc tải xuống cả mô hình cơ bản và mô hình tinh chỉnh.

Thiết lập SD.Next để sử dụng SDXL

SD.Next có hai môi trường Stable Diffusion: (1) gốc và (2) diffusers. Bạn sẽ cần chuyển sang môi trường diffusers để sử dụng mô hình SDXL.

Chuyển sang môi trường diffusers

Phương pháp PowerShell

Bạn sẽ cần khởi động webui.bat của SD.Next với đối số bổ sung –backend diffusers để sử dụng môi trường diffusers. Sau khi khởi động qua giao diện đồ họa người dùng (GUI), bạn có thể chuyển đổi giữa môi trường gốc và môi trường diffusers.

Nếu bạn sử dụng ứng dụng PowerShell cho giao diện người dùng web-UI, sử dụng lệnh sau.

cd automatic; .\webui.bat –backend diffusers

Phương pháp File Explorer

Bạn cũng có thể tạo một lối tắt mới để thêm đối số bổ sung để thuận tiện.

Trong File Explorer, nhấp chuột phải vào tệp webui.bat. Chọn Show more options. Nhấp vào create Shortcut.

Một tệp Shortcut mới được tạo ra. Đổi tên nó thành webui.bat – diffusers.

Nhấp chuột phải vào tệp, chọn Properties. Ở cuối trường Target, thêm

–backend diffusers

Phải có một khoảng trống giữa webui.bat và –backend diffusers.

Nhấp vào Apply và sau đó OK.

Từ giờ trở đi, bạn có thể nhấp đúp vào tệp Shortcut webui.bat – diffusers để khởi chạy SD.Next với môi trường diffusers.

Thêm menu lựa chọn mô hình tinh chỉnh

Vì tiện lợi, bạn nên thêm menu thả xuống chọn mô hình tinh chỉnh.

Điều hướng đến trang Settings, trong danh sách QuickSettings (tìm kiếm từ khóa “quick” để tìm), thêm sd_model_refiner.

Nhấp vào Apply settings và sau đó Restart server.

Sau khi khởi động lại, bạn sẽ thấy menu thả xuống Stable Diffusion refiner bên cạnh Stable Diffusion checkpoint.

Sử dụng mô hình SDXL

Bạn đã sẵn sàng tạo ra hình ảnh với mô hình SDXL. Có hai chế độ để tạo ra hình ảnh:

Chỉ sử dụng mô hình cơ bản
Sử dụng mô hình cơ bản theo tinh chỉnh

Chỉ sử dụng mô hình cơ bản

Điều hướng đến tab From Text.

Chọn mô hình cơ bản SDXL trong menu thả xuống Stable Diffusion checkpoint.

Chọn None trong menu thả xuống Stable Diffusion refiner.

Nhập một yêu cầu.

a cat playing guitar, wearing sunglasses

Đặt số bước lấy mẫu là 30.

Đặt cả chiều rộng và chiều cao là 1024. Điều này quan trọng vì mô hình SDXL được đào tạo để tạo ra hình ảnh 1024×1024.

Các tùy chọn còn lại khá tiêu chuẩn. Xem hướng dẫn AUTOMATIC1111 và bài viết này để biết thêm chi tiết.

Sử dụng mô hình cơ bản + tinh chỉnh

Sử dụng mô hình cơ bản theo sau là mô hình tinh chỉnh để có được kết quả tốt nhất. Bạn sẽ nhận được các hình ảnh tương tự như mô hình cơ bản nhưng với nhiều chi tiết tinh tế hơn.

Tùy chọn này yêu cầu nhiều VRAM hơn. Không phải tất cả các card đồ họa có thể xử lý được.

Để sử dụng mô hình cơ bản với mô hình tinh chỉnh, thực hiện tất cả như trong phần trước, trừ việc chọn mô hình tinh chỉnh SDXL trong menu thả xuống Stable Diffusion refiner.

Chuyển đổi giữa môi trường gốc và môi trường diffusers

Bạn có thể chuyển đổi giữa môi trường gốc và môi trường diffusers trên trang Settings.

Chuyển lại môi trường gốc để sử dụng các mô hình v1 và v2. Chọn original trong mục Stable Diffusion backend.

Nhấp vào Apply settings và Restart server.

Một số lưu ý về SDXL

Hãy đảm bảo sử dụng kích thước ảnh là 1024 x 1024.

SD.Next hiện đang sử dụng môi trường diffusers cho mô hình SDXL. Các tối ưu hóa tiếp theo sử dụng môi trường gốc trên SD.Next và AUTOMATIC1111 sẽ có sẵn sau này. Điều đó nên dẫn đến tốc độ tạo ra nhanh hơn và yêu cầu VRAM thấp hơn.

ArcLine Education – Nơi Đam Mê Gặp Gỡ Sự Đổi Mới!