ओपनएआई के नए सोरा ऐप के साथ बनाए गए वीडियो दिखाते हैं कि टूल का उपयोग करके सार्वजनिक धारणाओं को कितनी आसानी से हेरफेर किया जा सकता है जो सरल संकेतों की एक श्रृंखला के साथ वैकल्पिक वास्तविकता उत्पन्न कर सकते हैं। उन पर नज़र रखने वाले विशेषज्ञों के अनुसार, सोरा के आने के बाद से दो महीनों में, एक्स, यूट्यूब, फेसबुक और इंस्टाग्राम पर फर्जी वीडियो में वृद्धि हुई है। इस बाढ़ ने गलत सूचनाओं और फर्जी सूचनाओं की एक नई पीढ़ी के बारे में चिंता बढ़ा दी है।अधिकांश प्रमुख सोशल मीडिया कंपनियों की नीतियां एआई के उपयोग का खुलासा करने और धोखा देने वाली सामग्री को व्यापक रूप से प्रतिबंधित करने की आवश्यकता वाली हैं। लेकिन ओपनएआई उपकरण जिस तरह की तकनीकी छलांग का प्रतिनिधित्व करते हैं, उसके लिए ये बाधाएं बेहद अपर्याप्त साबित हुई हैं।जबकि कई वीडियो बच्चों और पालतू जानवरों के मूर्खतापूर्ण मीम्स या नकली चित्र हैं, अन्य का उद्देश्य उस तरह की विट्रियल को भड़काना है जो अक्सर राजनीतिक बहस की विशेषता होती है। वे पहले से ही विदेशी प्रभाव संचालन में शामिल हो चुके हैं। भ्रामक उपयोगों पर नज़र रखने वाले शोधकर्ताओं ने कहा कि अब कंपनियों की ज़िम्मेदारी है कि वे लोगों को यह सुनिश्चित करने के लिए और अधिक प्रयास करें कि क्या वास्तविक है और क्या नहीं।प्रौद्योगिकी से खतरों पर ध्यान केंद्रित करने वाले मानवाधिकार संगठन विटनेस के कार्यकारी निदेशक सैम ग्रेगरी ने कहा, “क्या वे गलत सूचना और दुष्प्रचार के लिए सामग्री मॉडरेशन में बेहतर कर सकते हैं? हां, वे स्पष्ट रूप से नहीं हैं।” “क्या वे सक्रिय रूप से एआई-जनित जानकारी की खोज करके और उसे लेबल करके बेहतर कर सकते हैं? इसका उत्तर भी हाँ है।” कृत्रिम बुद्धिमत्ता उपकरण बनाने वाली कंपनियों का कहना है कि वे उपयोगकर्ताओं को यह स्पष्ट करने की कोशिश कर रहे हैं कि कंप्यूटर क्या सामग्री उत्पन्न करते हैं। सोरा और Google द्वारा प्रस्तुत प्रतिद्वंद्वी टूल, जिसे Veo कहा जाता है, अपने द्वारा बनाए गए वीडियो में एक दृश्यमान वॉटरमार्क शामिल करते हैं। उदाहरण के लिए, सोरा प्रत्येक वीडियो पर “सोरा” टैग लगाता है। दोनों कंपनियों में अदृश्य मेटाडेटा भी शामिल है, जिसे कंप्यूटर द्वारा पढ़ा जा सकता है, जो प्रत्येक नकली की उत्पत्ति स्थापित करता है। विचार यह है कि लोगों को यह सूचित किया जाए कि वे जो देख रहे हैं वह वास्तविक नहीं है और उन प्लेटफार्मों को डिजिटल सिग्नल प्रदान करें जो स्वचालित रूप से उनका पता लगा सकें।कुछ प्लेटफ़ॉर्म उस तकनीक का उपयोग कर रहे हैं। YouTube एक छोटा लेबल जोड़ने के लिए सोरा के अदृश्य वॉटरमार्क का उपयोग करता है जो दर्शाता है कि AI वीडियो “बदले गए या सिंथेटिक” थे। यूट्यूब के प्रवक्ता जैक मैलोन ने कहा, “दर्शक तेजी से इस बारे में अधिक पारदर्शिता चाहते हैं कि जो सामग्री वे देखते हैं वह छेड़छाड़ की गई है या सिंथेटिक है।” दुर्भावनापूर्ण इरादे वाले लोगों ने पाया है कि प्रकटीकरण नियमों से बचना आसान है। कुछ लोग वॉटरमार्क हटाने के लिए वीडियो में हेरफेर करते हैं। कई कंपनियां सामने आई हैं जो लोगो और वॉटरमार्क हटाने की पेशकश करती हैं। ओपनएआई ने कहा कि यह सोरा के भ्रामक या भ्रामक उपयोग पर रोक लगाता है और इसकी नीतियों का उल्लंघन करने वालों के खिलाफ कार्रवाई करता है। कंपनी ने कहा कि उसका ऐप दर्जनों समान उपकरणों में से एक है जो तेजी से यथार्थवादी वीडियो बनाने में सक्षम है, जिनमें से कई अपने उपयोग में कोई सुरक्षा नहीं रखते हैं। मेटा के एक प्रवक्ता, जो फेसबुक और इंस्टाग्राम का मालिक है, ने कहा कि हर एआई-जनरेटेड वीडियो को टैग करना हमेशा संभव नहीं होता है।
