AC-Pass: एक रीइन्फोर्समेंट लर्निंग-आधारित पासवर्ड अनुमान मॉडल

सामग्री सूची

1.1 परिचय एवं अवलोकन
1.2 संबंधित कार्य एवं समस्या विवरण
2. पद्धतिशास्त्र: AC-Pass मॉडल
3. तकनीकी विवरण एवं गणितीय सूत्र
4. प्रयोगात्मक सेटअप और परिणाम
5. मुख्य अंतर्दृष्टि और विश्लेषण
6. विश्लेषण ढांचा: उदाहरण केस स्टडी
7. अनुप्रयोग संभावनाएं एवं भविष्य की दिशाएं
8. संदर्भ सूची

1.1 परिचय एवं अवलोकन

पासवर्ड सुरक्षा अभी भी साइबर सुरक्षा का एक महत्वपूर्ण अग्रणी क्षेत्र बनी हुई है। पासवर्ड अनुमान, जो संभावित उम्मीदवार पासवर्ड उत्पन्न करके पासवर्ड को क्रैक करने का प्रयास करने की प्रक्रिया है, आक्रामक सुरक्षा परीक्षण और रक्षात्मक शक्ति मूल्यांकन दोनों के लिए एक महत्वपूर्ण शोध क्षेत्र है। पारंपरिक विधियाँ जैसे प्रायिकता संदर्भ-मुक्त व्याकरण (PCFG) और हाल के गहन शिक्षण तरीके, विशेष रूप से जनरेटिव एडवरसैरियल नेटवर्क (GAN) पर आधारित विधियों, ने संभावना दिखाई है। हालाँकि, GAN-आधारित मॉडलों में प्रशिक्षण प्रक्रिया के दौरान, जनरेटर को डिस्क्रिमिनेटर का मार्गदर्शन अक्सर अपर्याप्त होता है, जिससे पासवर्ड उत्पादन दक्षता कम हो जाती है। यह पत्र प्रस्तुत करता हैAC-Pass, एक नवीन पासवर्ड अनुमान मॉडल जो Actor-Critic सुदृढीकरण शिक्षण एल्गोरिदम को GAN ढांचे में एकीकृत करता है, ताकि पासवर्ड अनुक्रम उत्पादन के लिए अधिक सटीक, चरण-दर-चरण मार्गदर्शन प्रदान किया जा सके, जिससे क्रैकिंग प्रदर्शन में उल्लेखनीय वृद्धि हो।

1.2 संबंधित कार्य एवं समस्या विवरण

मौजूदा पासवर्ड अनुमान मॉडल में नियम-आधारित विधियाँ (जैसे John the Ripper, Hashcat के म्यूटेशन नियम), संभाव्यता मॉडल जैसे PCFG, और आधुनिक डीप लर्निंग मॉडल शामिल हैं। GAN-आधारित मॉडल, जैसे PassGAN और seqGAN, सीधे डेटा से पासवर्ड वितरण सीखकर, एक प्रतिमान परिवर्तन का प्रतिनिधित्व करते हैं। इनका मुख्य चुनौती अनुक्रम उत्पादन में"क्रेडिट असाइनमेंट समस्या"। डिस्क्रिमिनेटर एक पूर्ण पासवर्ड के लिए एक अंतिम स्कोर प्रदान करता है, लेकिन जनरेटर प्रक्रिया में कौन से विशिष्ट वर्ण चयन अच्छे या बुरे हैं, इसके बारे में यह बहुत कम प्रतिक्रिया देता है। यह कमजोर, विलंबित पुरस्कार संकेत जनरेटर की सीखने की दक्षता में बाधा डालता है, यही वह मुख्य समस्या है जिसे AC-Pass हल करना चाहता है।

2. पद्धतिशास्त्र: AC-Pass मॉडल

2.1 मॉडल आर्किटेक्चर

AC-Pass enhances the standard GAN architecture by integrating the Actor-Critic network with the generator (Actor) and discriminator (Discriminator). The standard GAN components are retained: a generator (G) that produces password candidates from noise, and a discriminator (D) that distinguishes real passwords from generated ones. The innovation lies inCritic Network (C), यह एक मूल्य फ़ंक्शन अनुमानक है।

2.2 Actor-Critic और GAN का एकीकरण

पासवर्ड अनुक्रम उत्पन्न करने की प्रक्रिया में (वर्ण दर वर्ण उत्पन्न करते हुए), आलोचक नेटवर्क "स्थिति" (आंशिक रूप से उत्पन्न अनुक्रम) का मूल्यांकन करता है और अपेक्षित भविष्य के पुरस्कार की भविष्यवाणी करता है। यह पूर्वानुमानित मूल्य, पासवर्ड पूर्ण होने के बाद विवेचक द्वारा दिए गए अंतिम पुरस्कार के साथ संयुक्त होकर, एक अधिक सूचनात्मक लाभ संकेत की गणना करने के लिए उपयोग किया जाता है। यह लाभ संकेतप्रत्येक समय चरण परसीधे अभिनेता (जनरेटर) की नीति अद्यतन का मार्गदर्शन करता है, सघन, तात्कालिक प्रतिक्रिया प्रदान करता है, जिससे मूल GAN के अपर्याप्त मार्गदर्शन की समस्या का समाधान होता है।

2.3 प्रशिक्षण प्रक्रिया

प्रशिक्षण प्रक्रिया में G और D के बीच एक प्रतिस्पर्धी खेल शामिल है, जैसा कि मानक GAN में होता है, लेकिन इसे Actor-Critic फ्रेमवर्क द्वारा संचालित नीति ग्रेडिएंट अपडेट के माध्यम से बढ़ाया गया है। समीक्षक को टेम्पोरल डिफरेंस त्रुटि को कम करने के लिए प्रशिक्षित किया जाता है, जबकि अभिनेता को अपेक्षित संचयी पुरस्कार को अधिकतम करने के लिए प्रशिक्षित किया जाता है, जो समीक्षक के मूल्य अनुमान और विवेचक के अंतिम निर्णय दोनों से आकार लेता है।

3. तकनीकी विवरण एवं गणितीय सूत्र

रीइन्फोर्समेंट लर्निंग का मुख्य लक्ष्य जनरेटर पॉलिसी $\pi_\theta$ के अपेक्षित रिटर्न $J(\theta)$ को अधिकतम करना है:

$J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[R(\tau)]$

जहाँ $\tau$ एक ट्रैजेक्टरी (एक जनरेटेड पासवर्ड) है, $R(\tau)$ रिवार्ड है जो मुख्य रूप से डिस्क्रिमिनेटर $D(\tau)$ से आता है। Actor-Critic विधि मूल्य फ़ंक्शन $V^\pi(s)$ (क्रिटिक द्वारा अनुमानित) का उपयोग पॉलिसी ग्रेडिएंट अपडेट के विचरण को कम करने के लिए करती है। पॉलिसी ग्रेडिएंट का अनुमान इस प्रकार लगाया जाता है:

$\nabla_\theta J(\theta) \approx \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t | s_t) \cdot A(s_t, a_t) \right]$

यहाँ $A(s_t, a_t)$ एडवांटेज फ़ंक्शन है, जिसकी गणना आमतौर पर $A(s_t, a_t) = R_t + \gamma V(s_{t+1}) - V(s_t)$ के रूप में की जाती है। AC-Pass में, $R_t$ को डिस्क्रिमिनेटर के आउटपुट और अन्य पुरस्कारों द्वारा संयुक्त रूप से आकार दिया जाता है, जो एक मिश्रित मार्गदर्शक संकेत प्रदान करता है।

4. प्रयोगात्मक सेटअप और परिणाम

4.1 डेटासेट

प्रयोग तीन वास्तविक दुनिया के लीक हुए पासवर्ड डेटासेट पर किए गए:RockYou、LinkedIn 和 CSDNये डेटासेट प्रशिक्षण और मूल्यांकन के लिए विविध उपयोगकर्ता-चयनित पासवर्ड नमूनों की आपूर्ति करते हैं।

4.2 तुलनात्मक मॉडल

AC-Pass की तुलना निम्नलिखित मॉडलों के साथ की गई:
1. PCFG: एक क्लासिक संभाव्यता मॉडल।
2. PassGAN: एक मानक GAN-आधारित पासवर्ड जनरेटर।
3. seqGAN: एक अनुक्रम उत्पन्न करने के लिए सुदृढीकरण सीखने का उपयोग करने वाला GAN।

4.3 परिणाम एवं प्रदर्शन विश्लेषण

चार्ट विवरण (पेपर द्वारा प्रस्तावित परिकल्पना के आधार पर): एक लाइन ग्राफ़, जहाँ y-अक्ष संचयी पासवर्ड मिलान दर (क्रैकिंग सफलता दर) दिखाता है, और x-अक्ष अनुमान प्रयासों की संख्या दिखाता है (उदाहरण के लिए, अधिकतम 9×10^8 प्रयास)। ग्राफ़ चार रेखाएँ दिखाएगा: PCFG, PassGAN, seqGAN और AC-Pass। पूरे अनुमान सीमा में, AC-Pass रेखा अन्य दो GAN-आधारित मॉडलों से लगातार ऊपर रहेगी, जो उच्च दक्षता दर्शाती है। "हेटरोजेनस" टेस्ट सेट (जहाँ प्रशिक्षण और परीक्षण डेटा अलग-अलग स्रोतों से हैं, उदाहरण के लिए RockYou पर प्रशिक्षित, LinkedIn पर परीक्षित) में, AC-Pass ने PCFG की तुलना में बेहतर प्रदर्शन दिखाया है, जो इसकी बेहतर सामान्यीकरण क्षमता का संकेत देता है।

प्रमुख परिणाम: 9×10^8 पासवर्ड के अनुमान सेट में, AC-Pass ने होमोजेनस (समान स्रोत) और हेटरोजेनस (क्रॉस-स्रोत) दोनों टेस्ट सेट पर PassGAN और seqGAN की तुलना में उच्च क्रैकिंग दर हासिल की। इसके अलावा, AC-Pass ने एक बड़ा प्रभावी पासवर्ड आउटपुट स्पेस प्रदर्शित किया, जिसका अर्थ है कि इसकी सफलता दर अनुमान सेट के आकार में वृद्धि के साथ लगातार बढ़ती रहती है, कुछ मॉडलों की तरह पठार तक पहुँचने के बजाय।

प्रमुख प्रदर्शन अंतर्दृष्टि

Actor-Critic का एकीकरण पासवर्ड जनरेशन में कुशल अनुक्रमिक निर्णय लेने के लिए आवश्यक "घने पुरस्कार" संकेत प्रदान करता है, जो सीधे प्रति इकाई कम्प्यूटेशनल प्रयास पर उच्च अनुमान हिट दर में परिवर्तित होता है।

5. मुख्य अंतर्दृष्टि और विश्लेषण

मुख्य अंतर्दृष्टि: इस लेख का मूलभूत सफलता एक नए neural network आर्किटेक्चर में नहीं, बल्कि मौजूदा घटकों के कुशलसंयोजन में निहित है।। यह सही ढंग से पहचानता है कि "स्पार्स रिवार्ड" समस्या GAN-आधारित पासवर्ड अनुमान की Achilles' heel है, और एक सिद्ध प्रबलन सीख समाधान (Actor-Critic) को एक सटीक तरीके से लागू करता है। यह आविष्कार से अधिक एक प्रभावी इंजीनियरिंग एकीकरण है।

तार्किक प्रवाह: तर्क वाजिब है: 1) पासवर्ड के लिए GAN में बूटस्ट्रैपिंग समस्या है (सही), 2) Actor-Critic प्रबलन सीख में चरण-दर-चरण मार्गदर्शन प्रदान करता है (सही), 3) उन्हें मिलाने से प्रदर्शन में सुधार होना चाहिए। मानक डेटासेट और बेंचमार्क (PCFG, PassGAN) का उपयोग करने वाला प्रायोगिक डिजाइन मजबूत है और परिकल्पना को सत्यापित करता है।

लाभ और कमियाँ: लाभ: यह मॉडल पिछले मॉडल की तुलना में अधिक प्रभावी साबित हुआ है। विषम डेटासेट पर इसका मजबूत प्रदर्शन वास्तविक दुनिया की क्रैकिंग (जहां लक्ष्य पासवर्ड वितरण अज्ञात है) के लिए विशेष रूप से मूल्यवान है। पेपर अपने दायरे में तकनीकी रूप से ठोस है। कमियाँ: विश्लेषण कुछ संकीर्ण है। यह अन्य शैक्षणिक मॉडलों के साथ बेंचमार्क तुलना करता है, लेकिन व्यावहारिक क्रैकिंग में उपयोग की जाने वाली अत्याधुनिक तकनीकों की उपेक्षा करता है, जिसमें आमतौर पर बड़े पैमाने पर रूल-आधारित हमले (जैसे Hashcat का best64.rule) विशाल लीक डिक्शनरी के साथ संयुक्त होते हैं। प्रति सेकंड अनुमान लगाने और सफलता दर के मामले में, AC-Pass की दक्षता एक अच्छी तरह से ट्यून की गई गैर-मशीन लर्निंग हाइब्रिड विधि की तुलना में कैसी है? AC-Pass मॉडल को प्रशिक्षित करने और चलाने की कम्प्यूटेशनल लागत को भी संक्षेप में छोड़ दिया गया है - यह व्यावहारिक अनुप्रयोग का एक महत्वपूर्ण कारक है।

क्रियान्वयन योग्य अंतर्दृष्टि: 1. रक्षकों (ब्लू टीम) के लिए: यह शोध एआई-संचालित हमलों की बढ़ती जटिलता पर प्रकाश डालता है। रक्षात्मक पासवर्ड रणनीतियों को साधारण डिक्शनरी शब्दों को ब्लॉक करने से आगे जाना चाहिए। सख्त दर सीमा लागू करना, बहु-कारक प्रमाणीकरण (MFA) अनिवार्य करना, और वास्तव में यादृच्छिक, लंबे पासवर्ड उत्पन्न करने वाले पासवर्ड मैनेजर के उपयोग को बढ़ावा देना अब वैकल्पिक नहीं रह गया है। शोधकर्ताओं के लिए: अगला तार्किक कदम यह है कि हमप्रतिकूल प्रशिक्षणक्या हम एक "डिफेंडर GAN" बना सकते हैं जो विशेष रूप से AC-Pass जैसे मॉडलों को धोखा देने के लिए डिज़ाइन किए गए पासवर्ड उत्पन्न करता है, जिससे एक अधिक मजबूत मूल्यांकन बेंचमार्क बनाया जा सके? इसके अलावा, मॉडल की व्याख्यात्मकता का अध्ययन - यह वास्तव में किन पैटर्नों को सीखता है? - मानव द्वारा बनाए गए पासवर्डों में पूर्वाग्रहों की अंतर्दृष्टि प्रदान करने में मदद कर सकता है। व्यवसायिकों (रेड टीम/पैनेट्रेशन टेस्टर) के लिए: व्यापक संभावनाओं के बावजूद, जटिलता और गति के मुद्दों के कारण, AC-Pass वर्तमान उपकरणों का प्रत्यक्ष विकल्प अभी नहीं हो सकता है। हालांकि, यह एक व्यापक पासवर्ड ऑडिट टूलकिट में एक शक्तिशाली घटक का प्रतिनिधित्व करता है। प्राथमिकता Hashcat जैसे फ्रेमवर्क में एकीकरण के लिए कुशल, स्केलेबल कार्यान्वयन विकसित करना होना चाहिए।

मूल विश्लेषण (300-600 शब्द): पेपर "AC-Pass: ए रीइन्फोर्समेंट लर्निंग-आधारित पासवर्ड गेसिंग मॉडल" एआई-संचालित आक्रामक सुरक्षा टूलकिट में एक आकर्षक विकास प्रदर्शित करता है। इसका मुख्य योगदान GAN की जनरेटिव क्षमता को Actor-Critic रीइन्फोर्समेंट लर्निंग के सटीक, अनुक्रमिक निर्णय लेने वाले ढांचे के साथ सफलतापूर्वक एकीकृत करना है। यह सीधे तौर पर असतत अनुक्रम जनरेशन पर मानक GAN लागू करने की एक सुविदित सीमा को संबोधित करता है, एक मुद्दा जिसे मूल seqGAN शोध में रेखांकित किया गया था और जो GPT मॉडल टेक्स्ट जनरेशन जैसे अन्य क्षेत्रों में चुनौतियों के समान है (ट्रांसफॉर्मर-आधारित ऑटोरेग्रेसिव मॉडल इस मुद्दे को एक अलग तरीके से हल करते हैं)।Heterologous数据集（例如，在RockYou上训练，在LinkedIn上测试）上的优越表现表明，AC-Pass学习了更通用、更基本的人类密码创建模式，而不仅仅是记忆训练集。这种泛化能力对于现实世界的有效性至关重要，正如MITRE ATT&CK等组织的网络安全威胁评估中所强调的那样，它们强调适应性强的攻击技术。然而，从从业者的角度来看，这揭示了差距。论文存在于某种学术真空中。密码破解在现实世界中的黄金标准并非纯粹的神经模型；它是一个混合的、务实的系统，结合了大规模精选字典（来自过去的泄露）、复杂的变形规则（如Hashcat或John the Ripper的动态格式）以及基于马尔可夫链或PCFG的生成器。这些系统针对速度进行了高度优化，通常在GPU集群上每秒生成和测试数十亿次猜测。论文并未将AC-Pass的Guesses per secondइन उद्योग मानक उपकरणों के साथ दक्षता की तुलना करें। गहन शिक्षण मॉडल की प्रशिक्षण लागत और अनुमान गति एक दुर्गम बाधा हो सकती है।

6. विश्लेषण ढांचा: उदाहरण केस स्टडी

परिदृश्य: एक सुरक्षा टीम यह मूल्यांकन करना चाहती है कि आधुनिक एआई-संचालित हमलों के सामने उसके उपयोगकर्ताओं के पासवर्ड कितने मजबूत हैं।

फ्रेमवर्क एप्लिकेशन (नो-कोड): 1. डेटा संग्रह और अनामीकरण: उपयोगकर्ता डेटाबेस से पासवर्ड हैश नमूने (जैसे bcrypt) निकालें। सभी व्यक्तिगत पहचान योग्य जानकारी हटा दी गई है; केवल हैश मान, और संभवतः बाद में मिलान के लिए एक उपयोगकर्ता ID रखी गई है। मॉडल चयन और प्रशिक्षण: हमले के मॉडल का चयन करें। इस विश्लेषण में, हम AC-Pass पर विचार करते हैं। टीम सामान्य पासवर्ड निर्माण पैटर्न सीखने के लिए एक बड़े बाहरी लीक पासवर्ड कॉर्पस (जैसे RockYou) पर AC-Pass को प्रशिक्षित करेगी।वे अपने स्वयं के उपयोगकर्ता पासवर्ड पर प्रशिक्षण नहीं देंगे। 3. अनुमान उत्पन्न करना: प्रशिक्षित AC-Pass मॉडल एक प्राथमिकता-क्रमित पासवर्ड अनुमान सूची उत्पन्न करता है, उदाहरण के लिए 100 बिलियन उम्मीदवार पासवर्ड। हैश क्रैकिंग और मूल्यांकन: प्रत्येक उत्पन्न अनुमान को लक्ष्य डेटाबेस के समान एल्गोरिदम और पैरामीटर (सॉल्ट आदि) का उपयोग करके हैश किया जाता है। परिणामी हैश मान को संग्रहीत हैश मान से तुलना की जाती है। मेट्रिक्स गणना और रिपोर्टिंग: प्रत्येक उपयोगकर्ता के लिए जिसका हैश मिलान किया गया है, "अनुमान संख्या" (क्रमबद्ध सूची में पासवर्ड के पाए जाने की स्थिति) रिकॉर्ड करें। प्रमुख मेट्रिक्स की गणना करें: संचयी मिलान वक्र: अनुमानित प्रयासों के एक फलन के रूप में पासवर्ड क्रैकिंग प्रतिशत। औसत अनुमान रैंक: पासवर्ड पाए जाने की औसत स्थिति। भेद्यता सीमा: वास्तविक हमले के परिदृश्य में (उदाहरण के लिए, 1 बिलियन अनुमान लगाने पर), कितने प्रतिशत पासवर्ड क्रैक हो जाएंगे? क्रियाशील आउटपुट: रिपोर्ट सबसे कमजोर पासवर्ड पैटर्न (जैसे, "सामान्य आधार शब्द और उसके बाद दो अंकों का वर्ष वाले पासवर्ड") की पहचान करती है। यह अधिक सख्त पासवर्ड नीतियों को लागू करने, उच्च-जोखिम वाले खातों के लिए पासवर्ड रीसेट अनिवार्य करने, या MFA के प्रसार को तेज करने के औचित्य को साबित करने के लिए विशिष्ट डेटा प्रदान करती है।

7. अनुप्रयोग संभावनाएं एवं भविष्य की दिशाएं

अल्पकालिक अनुप्रयोग: - बढ़ी हुई सुरक्षा ऑडिट: अधिक यथार्थवादी पासवर्ड शक्ति मूल्यांकन के लिए रेड टीम टूल्स में एकीकृत करना। पासवर्ड नीति तनाव परीक्षण: नई पासवर्ड संयोजन नीति लागू करने से पहले, सक्रिय रूप से कृत्रिम बुद्धिमत्ता अनुमानकर्ता का उपयोग करके इसका परीक्षण करें। खतरा खुफिया जानकारी: विरोधी के पास उपलब्ध क्रैकिंग टूल्स की निरंतर विकसित होने वाली क्षमता का अनुकरण करना।

भविष्य के अनुसंधान दिशाएँ: 1. दक्षता अनुकूलन: वास्तविक समय या बड़े पैमाने पर क्रैकिंग के लिए हल्के और तेज़ मॉडल संस्करण (जैसे ज्ञान आसवन, मॉडल प्रूनिंग के माध्यम से) विकसित करना। हाइब्रिड मॉडल आर्किटेक्चर: AC-Pass को नियम-आधारित प्रणाली के साथ एकीकृत करना। सुदृढीकरण सीखने वाला एजेंट संदर्भ के आधार पर टूलबॉक्स से सबसे प्रभावी रूपांतरण नियमों का चयन और अनुप्रयोग करना सीख सकता है। प्रतिकूल रक्षा अनुसंधान: AC-Pass को एक आक्रमण मॉडल के रूप में उपयोग करके प्रशिक्षित करेंरक्षात्मकGAN, जो ऐसे AI अनुमानकों का पता लगाने या उनका विरोध करने वाले पासवर्ड उत्पन्न करने में सक्षम है, जिससे एक शस्त्र दौड़ सिमुलेशन बनता है। पासवर्ड से परे: एसी-पास फ्रेमवर्क को अन्य अनुक्रम सुरक्षा चुनौतियों पर लागू करना, जैसे कि आक्रमण पहचान प्रणाली (आईडीएस) परिहार परीक्षण के लिए दुर्भावनापूर्ण नेटवर्क ट्रैफ़िक अनुक्रम उत्पन्न करना, या फ़िशिंग ईमेल पाठ बनाना।

8. संदर्भ सूची

Li, X., Wu, H., Zhou, T., & Lu, H. (2023). A Password Guessing Model Based on Reinforcement Learning. कंप्यूटर विज्ञान, 50(1), 334-341. (प्राथमिक स्रोत)।
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27. (GAN foundational paper).
Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction. MIT press. (Actor-Critic विधियों के लिए मानक संदर्भ)।
Hitaj, B., Gasti, P., Ateniese, G., & Perez-Cruz, F. (2017). PassGAN: A deep learning approach for password guessing. In International conference on applied cryptography and network security (pp. 217-237). Springer, Cham. (पासवर्ड GAN के लिए एक महत्वपूर्ण प्रारंभिक कार्य)।
National Institute of Standards and Technology (NIST). (2020). डिजिटल पहचान दिशानिर्देश (SP 800-63B). [https://pages.nist.gov/800-63-3/sp800-63b.html] (प्रमाणीकरण सर्वोत्तम प्रथाओं का एक आधिकारिक स्रोत)।
The MITRE Corporation. (2023). ATT&CK® Framework, Technique T1110: Brute Force. [https://attack.mitre.org/techniques/T1110/] （威胁态势中密码攻击的背景）。