Phân tích vai trò của negative prompts trong Stable Diffusion

Cách sử dụng negative prompts như thế nào?

Negative prompts mang lại cho bạn một cách bổ sung để kiểm soát quá trình tạo hình ảnh từ văn bản. Nhiều người coi đây là một tính năng tùy chọn trong các mô hình Stable Diffusion 1.4 hoặc 1.5. Tuy nhiên, mọi thứ đã thay đổi khi Stable Diffusion v2 được ra mắt.

Trong bài viết này, tôi sẽ hướng dẫn qua một số trường hợp sử dụng của negative prompts, bao gồm việc điều chỉnh nội dung và điều chỉnh phong cách. Sau đó, tôi sẽ minh họa tầm quan trọng trong các mô hình v2. Tôi sẽ hướng dẫn cách tìm kiếm một negative prompts phổ quát.

Đây là phần thứ hai trong loạt bài về negative prompts. Đọc phần đầu tiên: Làm thế nào negative prompts hoạt động.

Nhập negative prompts

Nhiều GUI hoặc dịch vụ web của Stable Diffusion cung cấp khả năng sử dụng negative prompts. Trong AUTOMATIC1111 (hướng dẫn cài đặt ở đây), bạn nhập negative prompts ngay dưới nơi bạn đặt yêu cầu chính.

Ô nhập negative prompts trong AUTOMATIC1111

Tuy nhiên, đừng ngạc nhiên nếu bạn không thể tìm cách sử dụng negative prompts trong các GUI hoặc dịch vụ khác. Đó là một tính năng không chính thức trong mô hình v1.

Các trường hợp sử dụng

Tôi sẽ đi qua một số ví dụ về việc sử dụng  để bạn có thể hiểu được những gì có thể được thực hiện và cách điều chỉnh nó. Trong phần này, tôi sẽ sử dụng mô hình cơ bản v1.5, nhưng các kỹ thuật cũng áp dụng cho các mô hình v2.

Loại bỏ các yếu tố Sử dụng đầu tiên rõ ràng là loại bỏ bất kỳ thứ gì bạn không muốn thấy trong hình ảnh. Hãy nói bạn đã tạo ra một bức tranh về Paris trong một ngày mưa.

Yêu cầu: mùa thu ở Paris, trang trí, đẹp, bầu không khí, cảm giác, sương mù, khói, lửa, ống khói, mưa, ẩm ướt, trong lành, vũng nước, tan chảy, chảy nhỏ, tuyết, dòng suối, tươi tốt, băng, cầu, rừng, hoa hồng, hoa, của stanley artgerm lau, greg rutkowski, thomas kindkade, alphonse mucha, loish, norman rockwell. Giá trị khởi tạo: 1923936260

Bạn muốn tạo ra một bức tranh khác nhưng là một con đường trống rỗng. Điều bạn có thể làm là sử dụng cùng giá trị khởi tạo, xác định hình ảnh, và thêm negative prompts “người”. Bạn sẽ có một bức tranh với hầu hết mọi người đã được loại bỏ.

Thêm negative prompts “người” nhưng vẫn giữ nguyên yêu cầu và giá trị khởi tạo.

Lưu ý rằng cảnh quan rất giống nhau nhưng không hoàn toàn giống như cảnh gốc. Nếu bạn thực sự cần cảnh gốc, bạn sẽ cần sử dụng kỹ thuật trám hình để một cách công phu loại bỏ người trong khi vẫn giữ cho cảnh vẫn hợp lý.

Bạn có thể đã nhận thấy rằng trong hình ảnh trên, vẫn còn một người. Bạn có thể yêu cầu Stable Diffusion cố gắng hơn bằng cách thêm sự nhấn mạnh (người:1.3). Điều đó cho biết với Stable Diffusion rằng từ khóa “người” quan trọng hơn 30% bây giờ.

Thêm 30% sự nhấn mạnh vào negative prompts “người” loại bỏ người cuối cùng.

Hãy nhớ rằng trong khi bạn có thể sử dụng sự nhấn mạnh từ khóa trong AUTOMATIC1111, nó không được hỗ trợ một cách phổ quát bởi tất cả các dịch vụ. Hãy chắc chắn kiểm tra với dịch vụ bạn đang sử dụng trước khi viết email tức giận cho tôi…

Sửa đổi hình ảnh

Bạn có thể thúc đẩy Stable Diffusion thực hiện những thay đổi tinh subtel với các negative prompts. Bạn không chắc chắn muốn loại bỏ bất kỳ thứ gì, mà chỉ muốn thực hiện những thay đổi nhỏ đối với các chủ thể.

Hãy làm việc với hình ảnh cơ sở này:

Yêu cầu: emma watson trong hình dạng thiên nhiên ma thuật bầu trời, tạo dáng từ trên xuống, tóc dài, áo vải trong suốt màu hồng nhạt và trắng, không gian, D&D, nền sáng bóng, tinh xảo, thanh lịch, chi tiết cao, hội họa số, nghệ thuật khái niệm, mượt mà, nét đậm, minh họa, artgerm, bouguereau. Giá trị khởi tạo: 479804672

Dường như có gió và tóc đang bay. Hãy sử dụng chức năng  “gió” để giữ cho tóc thẳng xuống.

Thêm negative prompts “gió” giữ cho tóc thẳng xuống. Emma trong hình ảnh gốc trông hơi… chưa phát triển. Sử dụng negative prompts “chưa đủ tuổi” giúp cô trông trưởng thành hơn.

Trong hình ảnh gốc, Emma trông hơi… chưa phát triển. Sử dụng chức năng “dưới tuổi” khiến cô ấy trông có vẻ người trưởng thành hơn.

Negative prompts: chưa đủ tuổi.

Nhưng nếu chúng ta chấp nhận hiện tượng gió nhưng muốn tóc che kín tai thì sao? Hãy thêm chức năng “tai” với các yếu tố nhấn mạnh khác nhau. Dưới đây là với ba hệ số nhấn mạnh tăng dần 1.3, 1.6 và 1.9.

Tóc che kín tai hơn với tất cả các yếu tố nhấn mạnh, nhưng khi yếu tố đạt 1.9, cấu trúc của hình ảnh thay đổi. Negative prompts có thể ảnh hưởng mạnh mẽ đến quá trình khúc xạ.

Negative prompts với việc chuyển đổi từ khóa

Bây giờ nếu bạn thực sự muốn sử dụng sự nhấn mạnh cao (ear:1.9)? Tôi không biết vấn đề của bạn với tai là gì, nhưng tôi có một mẹo cho bạn. Bạn có thể sử dụng việc chuyển đổi từ khóa để trước tiên sử dụng một từ không có ý nghĩa như negative prompts, sau đó chuyển đổi sang (ear:1.9) trong bước lấy mẫu sau.

Hãy chọn làm từ không có ý nghĩa cho negative prompts. Bạn có thể kiểm tra tính vô dụng của nó bằng cách đặt nó trong negative prompts. Bạn sẽ nhận được hình ảnh giống như khi bạn không đặt gì cả. Bây giờ hãy sử dụng nó như negative prompts:

Vì tôi đang sử dụng 20 bước lấy mẫu, điều này có nghĩa là sử dụng trong các bước 1 – 10 và (ear:1.9) trong các bước 11 – 20.

Lý do đằng sau điều này là quá trình khúc xạ quan trọng nhất ở các bước đầu. Các bước sau chỉ là điều chỉnh tinh vi đối với các chi tiết, chẳng hạn như tóc che tai.

Chuyển sang negative prompts chỉ ở các bước sau.

Bây giờ điều chúng ta đã đạt được thật tuyệt vời.

• Chúng ta có thể sử dụng sự nhấn mạnh mạnh hơn (ear:1.9) mà không thay đổi cấu trúc.
• Chúng ta nhận được một hình ảnh gần hơn với hình ảnh gốc.
• Tai đã được che kín.

Sửa đổi phong cách

Sửa đổi phong cách không chỉ hữu ích để sửa đổi nội dung mà còn để sửa đổi phong cách. Tại sao phải thay đổi phong cách? Đôi khi thêm quá nhiều vào yêu cầu chính chỉ làm cho quá trình khúc xạ phức tạp hơn. Hãy tưởng tượng một người nói với bạn phải đến đồng thời 77 nơi (giới hạn về mã thông báo). Điều này sẽ dễ dàng hơn nếu họ nói cho bạn biết những khu vực cần tránh thay vì điều gì đó.

Làm sắc nét

Thay vì sử dụng từ khóa “sắc nét”, “tập trung” trong yêu cầu, bạn có thể sử dụng từ “mờ” trong negative prompts. Hình ảnh thực sự trở nên sắc nét hơn.

Sử dụng từ “mờ” trong negative prompts làm cho hình ảnh trở nên sắc nét hơn.

Chân thực như ảnh

Sử dụng negative prompts “hội họa”, “hoạt hình” làm cho hình ảnh trở nên giống như ảnh.

Nếu bạn muốn giữ nguyên cấu trúc ban đầu, bạn có thể thử nghiệm với việc chuyển đổi từ khóa mà tôi đã đề cập trước đó. Bằng cách sử dụng [the: (hội họa hoạt hình:1.9): 0.3] chúng ta có:

Nó gần gũi hơn với hình ảnh gốc nhưng có thêm phong cách chân thực như ảnh.

Negative prompts quan trọng cho mô hình v2

Negative prompts với Stable Diffusion v2.1

Phù hợp với kết quả của Max Woolf, kinh nghiệm của riêng tôi cho thấy chủ đề này  rất quan trọng đối với các mô hình v2. Dưới đây là việc tôi sử dụng một cách hiệu quả cho việc tạo ra hình ảnh con người thực tế nhưng với mô hình Stable Diffusion 2.1.

Stable Diffusion 2.1. Thêm nhiều negative prompts cải thiện hình ảnh.

Chỉ cần thêm hai hoặc ba negative prompts một cách tiến triển có thể cải thiện vẻ đẹp của các hình ảnh. Tôi sẽ nói rằng đây gần giống chất lượng của các mô hình v1.

Negative prompts với Stable Diffusion v1.5

Hãy lặp lại bài tập trên mô hình v1.5.

Thêm negative prompts vào v1.5. Cải thiện không rõ ràng.

Hình ảnh xuất ra khá tốt mà không cần bất kỳ chủ đề nào trong v1.5. Thêm negative prompts “xấu xí”, “biến dạng” và “biến dạng” có thể cải thiện mọi thứ, nhưng không rõ ràng như trong v2.1. Dường như như v1.5 không hiểu những từ này.

Tại sao negative prompts trở nên quan trọng hơn trong v2?

Đây là một lĩnh vực tôi chỉ có thể suy đoán… nhưng tại sao không? Hai thay đổi trong v2 là:

1. Sử dụng một mô hình ngôn ngữ OpenCLIP lớn hơn.
2. Lọc bỏ nội dung NSFW trong dữ liệu huấn luyện.

Nghi ngờ đầu tiên là việc chuyển từ mô hình CLIP của OpenAI sang OpenCLIP. Điều này ảnh hưởng đến nhúng của mô hình. OpenAI đã huấn luyện mô hình CLIP với dữ liệu độc quyền. Nếu dữ liệu được tùy chỉnh một cách cẩn thận đến mức mọi người trông nổi bật hơn trung bình, việc kích hoạt “phụ nữ” sẽ giống như kích hoạt “phụ nữ xinh đẹp”. Điều này sẽ làm cho việc kích hoạt trở nên dễ dàng hơn.

Suy đoán thứ hai của tôi là những gì được coi là NSFW có thể cũng có tính thẩm mỹ cao. Điều này có thể là một sự cố của bộ lọc, hoặc có thể chỉ là tính chất của các hình ảnh NSFW. Loại trừ hình ảnh NSFW cũng không cố ý làm sai lệch dữ liệu theo hướng xấu và xấu xí.

Negative prompts mẫu trong mô hình v2

Chúng ta đã nêu vấn đề về sự quan trọng của negative prompts trong v2. Bây giờ hãy tìm một negative prompts tổng quát tốt.

Tìm một negative prompts tốt

Tôi sẽ sử dụng mô hình 2.1 (512 pixel) cho cuộc thử nghiệm này. Các hình ảnh gốc không có negative prompts là:

Hình ảnh gốc.

Không tệ, nhưng có thể cải thiện. Sử dụng negative prompts tối giản của chúng tôi, chúng ta ngay lập tức thấy sự cải thiện:

Negative prompts: xấu xí, biến dạng, biến dạng.

Thêm “chụp dưới” và “chụp quá” giúp làm cho hình ảnh trở nên không phẳng.

Negative prompts: chụp dưới, chụp quá, xấu xí, biến dạng, biến dạng.

Thêm độ tương phản thấp cũng không có hại.

Negative prompts: độ tương phản thấp, chụp dưới, chụp quá, xấu xí, biến dạng, biến dạng.

Tiếp theo, hãy thử nghiệm negative prompts phổ biến cho v2 mà mọi người đang chia sẻ trên mạng:

Tôi nghĩ nó làm việc khá tốt mặc dù có thể đã sửa đổi phong cách một chút. Điều này có thể do các từ khóa phủ định mờ, mờ mờ, nguội, bản nháp. Một số phong cách có thể trông như vậy. Xóa những từ khóa này có vẻ làm cho phong cách trở lại gần hơn với gốc.

Negative prompts: xấu xí, lát gạch, bàn tay vẽ kém, chân vẽ kém, khuôn mặt vẽ kém, nằm ngoài khung, chi nhánh thừa, biến dạng, biến dạng, cơ thể nằm ngoài khung, hình học xấu, dấu ấn nước, chữ ký, cắt đứt

Tiếp theo, thêm các từ khóa ánh sáng mà chúng ta vừa sử dụng (độ tương phản thấp, chụp dưới, chụp quá). Nó giúp cải thiện độ tương phản và phạm vi động.

Negative prompts: xấu xí, lát gạch, bàn tay vẽ kém, chân vẽ kém, khuôn mặt vẽ kém, nằm ngoài khung, chi nhánh thừa, biến dạng, biến dạng, cơ thể nằm ngoài khung, hình học xấu, dấu ấn nước, chữ ký, cắt đứt, độ tương phản thấp, chụp dưới, chụp quá

Bây giờ thêm một số từ khóa phủ định khác để tránh lấy mẫu từ nghệ thuật kém hoặc hình ảnh của người mới học. Đây là một chủ đề mẫu khá tốt mà không ảnh hưởng đến phong cách.

Đây là một sự cải tiến lớn so với việc không sử dụng yêu cầu phủ định. Bạn có thể muốn loại bỏ độ tương phản thấp, chụp dưới hoặc chụp quá nếu đó là phong cách.

Negative prompts tổng quát

Chúng ta sẽ đặt negative prompts tổng quát cho v2 mà chúng ta vừa tìm thấy vào một loạt các thử nghiệm để xem hiệu suất của nó như thế nào. Như một bản tóm tắt, negative prompts tổng quát là

Phong cách ảnh nhiếp ảnh

Yêu cầu:

Không có negative prompts.

Có negative prompts.

Negative prompts tổng quát hoạt động tốt với hình ảnh phong cách nhiếp ảnh. Chàng trai trông cao cấp hơn và chắc chắn đã dành nhiều thời gian cho mái tóc của mình vào buổi sáng…

Phong cách hoạt hình Nhật Bản

Yêu cầu:

Không có negative prompts.

Có negative prompts.

Negative prompts tổng quát đã giúp nhân vật trong phong cách hoạt hình Nhật Bản cũng như vậy. Nhân vật trông tốt hơn, đẹp trai hơn và sẵn sàng chiến đấu hơn như có vẻ. Thanh kiếm ninja đã được thẳng hơn và trông nguy hiểm hơn.

Phong cách tranh dầu

Không có negative prompts.

Có negative prompts.

Negative prompts tổng quát giúp cả chiếc Tesla và chàng trai. Thay vì hiển thị một chiếc xe hỏng bét với một thiếu niên gặp rắc rối, bây giờ nó cho thấy một chiếc xe mới bóng với một chàng trai trẻ trông như triệu phú.

Kết luận

Dường như negative prompts tổng quát của v2 hoạt động tốt dưới nhiều phong cách khác nhau! Điều này đánh dấu sự kết thúc của loạt hai phần về chủ đề này

Xem thêm: Bí quyết tạo hình ảnh động vật sống động với Stable Diffusion

Để biết thêm thông tin chi tiết về Stable Diffusion có thể tìm hiểu thêm tại khóa học Stable Diffusion – Midjourney tại Arcline Academy hoặc có thể tham khảo thêm thông tin các khóa học khác tại đây        

Trụ sở chính: 32/19 Nghĩa Hòa, Phường 06, Q. Tân Bình, TPHCM (Nhà Thờ Nghĩa Hòa – Khu Bắc Hải)

Trụ sở miền Tây: L30-09, Đường số 43, Khu Dân cư Stella Megacity, P. Bình Thủy, Q. Bình Thủy, Tp. Cần Thơ

Hotline: 0988 363 967