अजगर mapreduce त्रुटि लौटने काम

वोट
0

हाय मैं बस Hadoop का उपयोग कर और मेरी पहली mapreduce काम चल रहा है शुरू कर दिया है। मैं मानचित्र के निर्माण के लिए अजगर का इस्तेमाल किया है और स्क्रिप्ट को कम करने और मैं इसे और इसके काम कर ठीक परीक्षण किया लेकिन जब मैं hadoop.It पर उन्हें चलाने के लिए कोशिश कर रहा हूँ त्रुटि लौटा रहा है।

निम्न आदेश मैं टर्मिनल में दर्ज किया गया है

/home/maitreyee/hadoop$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar     -mapper /usr/bin/python mapper1.py -reducer /usr/bin/python reducer1.py -input /user/hduser/gutenberg/* -output /user/hduser/gutenberg-output1

और नीचे त्रुटि दिखाई देती है

Warning: $HADOOP_HOME is deprecated.
packageJobJar: [/app/hadoop/tmp/hadoop-unjar3238940252334854546/] []      /tmp/streamjob4553487258055690616.jar tmpDir=null
14/12/05 11:53:29 INFO streaming.StreamJob: Running job: job_201412050953_0004
14/12/05 11:53:29 INFO streaming.StreamJob: To kill this job, run:
14/12/05 11:53:29 INFO streaming.StreamJob: /home/maitreyee/hadoop/libexec/../bin/hadoop job  -Dmapred.job.tracker=localhost:54311 -kill job_201412050953_0004
14/12/05 11:53:29 INFO streaming.StreamJob: Tracking URL: http://localhost:50030   /jobdetails.jsp?jobid=job_201412050953_0004
14/12/05 11:53:30 INFO streaming.StreamJob:  map 0%  reduce 0%
14/12/05 11:54:54 INFO streaming.StreamJob:  map 100%  reduce 100%
14/12/05 11:54:54 INFO streaming.StreamJob: To kill this job, run:
14/12/05 11:54:54 INFO streaming.StreamJob: /home/maitreyee/hadoop/libexec/../bin/hadoop    job  -Dmapred.job.tracker=localhost:54311 -kill job_201412050953_0004
14/12/05 11:54:54 INFO streaming.StreamJob: Tracking URL: http://localhost:50030  /jobdetails.jsp?jobid=job_201412050953_0004
14/12/05 11:54:54 ERROR streaming.StreamJob: Job not successful. Error: # of failed Map          Tasks exceeded allowed limit. FailedCount: 1. LastFailedTask:        task_201412050953_0004_m_000000
14/12/05 11:54:54 INFO streaming.StreamJob: killJob...
Streaming Command Failed!

कृपया सुझाव है कि क्या गलत हो रहा है और यह कैसे हल किया जा सकता है।

05/12/2014 को 04:11
उपयोगकर्ता
अन्य भाषाओं में...                            


1 जवाब

वोट
0

यह अपने बस समय की बात लगता है। इससे पहले कि Hadoop में चल रहे रोजगार के अवसर सुनिश्चित करें Hadoop ठीक JPS के माध्यम से चल रहा है, प्रणाली को अपडेट रखने के लिए और ssh कनेक्शन की जांच के साथ-साथ। फिर आदेश के रूप में एक सरल अजगर मानचित्र को कम Hadoop में काम (मैं Ubuntu 12.04 LTS और Hadoop 1.2.1 का उपयोग कर रहा) को चलाने के लिए इस प्रकार लिखें।

 [email protected]:~/hadoop$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar -input /user/hduser/gutenberg/gutenberg/ -output /user/hduser/op4 -mapper /home/hduser/hadoop/mapper1.py -file /home/hduser/hadoop/mapper1.py -reducer /home/hduser/hadoop/reducer1.py -file /home/hduser/hadoop/reducer1.py 

ऊपर टर्मिनल कमांड का एक छोटा सा विवरण: के बाद से अपने एक स्ट्रीमिंग का काम तो हम पहले Hadoop के जार फ़ाइल स्ट्रीमिंग के स्थान शब्दों में कहें, तो इनपुट फ़ाइल का स्थान, आउटपुट फ़ाइल के स्थान के बाद (एक अद्वितीय नाम देने के लिए कोशिश करते हैं और HDFS में उपस्थित होना चाहिए), तो हम Hadoop बताओ क्या समारोह हम प्रदर्शन करने के लिए चाहते हैं, और जहां यह प्रदर्शन किया जाएगा (नक्शा और कार्यों को कम), फ़ाइल गुण के बाद स्क्रिप्ट का स्थान बताने के लिए। (पटकथा भाषा के मामले में।)

अगर अभी कोई संदेह कृपया मुझे पता है।

08/12/2014 को 03:44
का स्रोत उपयोगकर्ता

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more