Category Archives: python

前提知識

スクリプトの最初の行の#!で始まるものはshebangと呼ばれる。

スクリプトを書いて、実行するときにシステムによってこの行が読まれ、この実行ファイルで当該スクリプトを実行する機能がLinux系のOSにはある。

pythonで実験

以下のファイルを作成 hello.py

print('hello')

1	print('hello')

実行してみる

ebisu@minpsrv ~/T/g$ python3 hello.py
hello
ebisu@minpsrv ~/T/g$ ./hello.py
-bash: ./hello.py: Permission denied
ebisu@minpsrv ~/T/g$ chmod +x hello.py
ebisu@minpsrv ~/T/g$ ./hello.py
./hello.py: line 1: syntax error near unexpected token `'hello''
./hello.py: line 1: `print('hello')'
ebisu@minpsrv ~/T/g$ bash hello.py
hello.py: line 1: syntax error near unexpected token `'hello''
hello.py: line 1: `print('hello')'
ebisu@minpsrv ~/T/g$

ebisu@minpsrv ~/T/g$ python3 hello.py

hello

ebisu@minpsrv ~/T/g$ ./hello.py

-bash: ./hello.py: Permission denied

ebisu@minpsrv ~/T/g$ chmod +x hello.py

ebisu@minpsrv ~/T/g$ ./hello.py

./hello.py: line 1: syntax error near unexpected token `'hello''

./hello.py: line 1: `print('hello')'

ebisu@minpsrv ~/T/g$ bash hello.py

hello.py: line 1: syntax error near unexpected token `'hello''

hello.py: line 1: `print('hello')'

ebisu@minpsrv ~/T/g$

python3を明示式に指定して実行すればちゃんと実行できるが、そうでない場合はbashとして実行されている事がわかる。

ここでshebangを加えてみる。

#! /usr/bin/python3
print('hello')

1 2	#! /usr/bin/python3 print('hello')

実行

ebisu@minpsrv ~/T/g$ python3 hello.py
hello
ebisu@minpsrv ~/T/g$ ./hello.py
hello
ebisu@minpsrv ~/T/g$

ebisu@minpsrv ~/T/g$ python3 hello.py

hello

ebisu@minpsrv ~/T/g$ ./hello.py

hello

ebisu@minpsrv ~/T/g$

ちゃんと実行できる。

pythonの特殊解釈

しかしpythonのスクリプトではshebangが/usr/bin/python3ではなく、/usr/bin/env python3と記述されている。

/usr/bin/envは引数を起動するだけのプログラムでオプションで環境変数を変更する機能がある。Linuxがこのshebangを読むと/usr/bin/env python3が起動してenvはをPATHなどから探してpython3を実行するものと思われる。

python3ではWindowsとの互換性のために/usr/bin/envがvirtual commandと解され、PATHからpython.exeを見つけるようになるのだと思う。

Windowsの場合は、python.exeの他にpy.exeがシステムディレクトリにインストールされているので、まずpy.exeがスクリプトのshebangを見て適切なpython実行ファイルを探して実行するものと思われる。

pythonのurllibで ExceptionName=URLError, REPR=URLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: certificate has expired (_ssl.c:1131)’))

2021年10月8日

admin

python No Comments

certifiをimportしてurlopenの引数でcafile=certifi.where()を加える。

import certifi
...
urllib.request.urlopen("https://ambiesoft.com/", cafile=certifi.where())

import certifi

...

urllib.request.urlopen("https://ambiesoft.com/", cafile=certifi.where())

pipでパッケージをアップデートする

2021年9月30日

admin

python No Comments

個々のパッケージをアップデートする

pip install <package_name> --upgrade

1	pip install <package_name> --upgrade

一括でアップデートする

pip install pip-review
pip-review --interactive

1 2	pip install pip-review pip-review --interactive

pythonのargparseの基本

2021年7月19日

admin

python No Comments

pythonのargparseが難しいくて戸惑うので基本のもの

引数を取らないオプション

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')
parser.add_argument('-f', 
                    action='store_true',
                    help='do it with force')

args = parser.parse_args()

if args.f:
  print('f is set')
else:
  print('f is not set')

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')

parser.add_argument('-f',

action='store_true',

help='do it with force')

args = parser.parse_args()

if args.f:

print('f is set')

else:

print('f is not set')

引数を１個とるオプション（デフォルト）

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')
parser.add_argument('-i',
help="The input")

args = parser.parse_args()

print('i is ',args.i)  ## args.i is string

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')

parser.add_argument('-i',

help="The input")

args = parser.parse_args()

print('i is ',args.i) ## args.i is string

引数を１個とるオプション（個数指定）

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')
parser.add_argument('-i',
                    nargs=1,
                    help="The input")

args = parser.parse_args()

if args.i:  
  print('i is ',args.i)  ## args.i is list
else:
  print('No i')

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')

parser.add_argument('-i',

nargs=1,

help="The input")

args = parser.parse_args()

if args.i:

print('i is ',args.i) ## args.i is list

else:

print('No i')

０個か１個だけとるメイン（オプションのない）の引数

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')
parser.add_argument('infile',
                    nargs='?',
                    help="The input")

args = parser.parse_args()

print(args)
if args.infile:  
  print('infile is',args.infile)  ## args.infile is string
else:
  print('No infile')

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')

parser.add_argument('infile',

nargs='?',

help="The input")

args = parser.parse_args()

print(args)

if args.infile:

print('infile is',args.infile) ## args.infile is string

else:

print('No infile')

１個からＮ個とるメインの引数

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')
parser.add_argument('infile',
                    nargs='+',
                    help="The input")

args = parser.parse_args()

print(args)
if args.infile:  
  print('infile is',args.infile)  ## args.infile is list
else:
  print('No infile')

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')

parser.add_argument('infile',

nargs='+',

help="The input")

args = parser.parse_args()

print(args)

if args.infile:

print('infile is',args.infile) ## args.infile is list

else:

print('No infile')

nargsが+

０個からＮ個とるメインの引数

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')
parser.add_argument('infile',
                    nargs='*',
                    help="The input")

args = parser.parse_args()

print(args)
if args.infile:  
  print('infile is',args.infile)  ## args.infile is list
else:
  print('No infile')

parser = argparse.ArgumentParser(prog='MyPythonTest', description='Test ArgumentParser')

parser.add_argument('infile',

nargs='*',

help="The input")

args = parser.parse_args()

print(args)

if args.infile:

print('infile is',args.infile) ## args.infile is list

else:

print('No infile')

考察

ほかにもいろいろなことができるのだがやりすぎて使いにくくなってる感がある。基本を押さえと置けば理解もできるようになると思う。

python: 文字列はimmutableでリストはmutable

2021年7月17日

admin

python No Comments

immutable

とは値を変えられないということ、というふうに言われるがpythonの場合は分かりづらい。
immutableとは変数の値が知らないところで書き換えられることがないことを示している。
文字列はimmutableと言われる。

C言語だと文字列はmutableになる。

char str[] = "abc";
char* p = str;
str[1] = 'x';  // pも変わる

char str[] = "abc";

char* p = str;

str[1] = 'x'; // pも変わる

pythonや多くの言語では上記のようなことはできず、文字列はimmutableになっている。

リストはmutable

mutableとは変数が知らないところで書き換わってしまうこと。

>>> a = [1,2,3]
>>> b = a
>>> a.append(4)
>>> b
[1, 2, 3, 4]
>>>

>>> a = [1,2,3]

>>> b = a

>>> a.append(4)

>>> b

[1, 2, 3, 4]

>>>

aとbは同じ実体を表すのでaに追加した4がbにも反映される。
しかし以下の場合は違う。

>>> a = [1,2,3]
>>> b = a
>>> a = [4,5,6]
>>> b
[1, 2, 3]
>>>

>>> a = [1,2,3]

>>> b = a

>>> a = [4,5,6]

>>> b

[1, 2, 3]

>>>

aに代入した[4,5,6]はもともとa,b両方が参照していたリストとは違うリストで新しく代入している。この場合はaとbは違うリストを参照している。
２つの変数が参照しているものが同じかどうかを調べるにはid()を使う。

>>> a = [1,2,3]
>>> b = a
>>> id(a)
8053288
>>> id(b)
8053288
>>>
>>> a = [4,5,6]
>>> id(a)
6151432
>>> id(b)
8053288
>>>
>>>

>>> a = [1,2,3]

>>> b = a

>>> id(a)

8053288

>>> id(b)

8053288

>>>

>>> a = [4,5,6]

>>> id(a)

6151432

>>> id(b)

8053288

>>>

文字列とリストでの関数の違い

しかし文字列でも同じid()を持つことはある。同じであってもそれが読み込みしかされていないなら問題はない。しかしそれを変更するわけにはいかないことから、このような違いは文字列とリストでの関数の違いとなって現れる。文字列の関数は常に新しい文字列を返し、自分自身を変更することはしない。リストの関数は常に自分自身を変更し、リストを返さない。

>>> x = 'abc'
>>> y = x
>>> id(x)
6094944
>>> id(y)
6094944
>>> x.upper()
'ABC'
>>> x
'abc'
>>> y
'abc'
>>> x = x.upper()
>>> x
'ABC'
>>> id(x)
8055104
>>> id(y)
6094944
>>>

>>> x = 'abc'

>>> y = x

>>> id(x)

6094944

>>> id(y)

6094944

>>> x.upper()

'ABC'

>>> x

'abc'

>>> y

'abc'

>>> x = x.upper()

>>> x

'ABC'

>>> id(x)

8055104

>>> id(y)

6094944

>>>

upper()は新しい文字列を返し、自分自身は変更しない。

>>> a = [1,2,3]
>>> b = a
>>> id(a)
6151432
>>> id(b)
6151432
>>> a = a.append(4)
>>> a
>>> id(a)
1583959272
>>> id(b)
6151432
>>> a
>>> b
[1, 2, 3, 4]

>>> a = [1,2,3]

>>> b = a

>>> id(a)

6151432

>>> id(b)

6151432

>>> a = a.append(4)

>>> a

>>> id(a)

1583959272

>>> id(b)

6151432

>>> a

>>> b

[1, 2, 3, 4]

append()は何も返さず、自分自身を変更する。

注意点

このようなふるまいからリストを使うときは注意を要することがある。

>>> def getlist():
...   return [1,2,3]
...
>>> l = getlist().append(4)
>>> l
>>>

>>> def getlist():

... return [1,2,3]

...

>>> l = getlist().append(4)

>>> l

>>>

append()はリストを返さないのでlには何も入らない。以下のようにしないといけない。

>>> l = getlist()
>>> l.append(4)
>>> l
[1, 2, 3, 4]
>>>

>>> l = getlist()

>>> l.append(4)

>>> l

[1, 2, 3, 4]

>>>

pythonでcat

2021年7月16日

admin

python No Comments

catコマンド

ファイルの中身を表示する

$ cat file
abc
xyz

$

$ cat file

abc

xyz

以下のようにしても動く

$ cat < file
abc
xyz

$

$ cat < file

abc

xyz

これは標準入力からファイルの内容を受け取りそれを出力している。

標準入力での切り分け

上記のことをpythonで実現するにはまず標準入力が普通の標準入力（キーボード）かパイプかを調べて処理を分ける。

import sys

if sys.stdin.isatty():
    # keyboard
    pass
else:
    # pipe
    pass

import sys

if sys.stdin.isatty():

# keyboard

pass

else:

# pipe

pass

ttyとはteleprinterのことで、昔あった手元にあるキーボードから遠くのプリンターに文字をタイプするマシンのことらしい。Linux界では接続されているキーボードをttyという概念で認識する。

ttyだった場合、引数にファイルがあればそれを表示し、なければ標準入力（キーボード）から入力を受け付ける。

ファイルの処理

import sys
import os

def docat(file=sys.stdin):
    sys.stdout.write(file.read())

if sys.stdin.isatty():
    # keyboard
    if len(sys.argv) > 1:
        file = open(sys.argv[1])
        docat(file)
        file.close()
    pass
else:
    # pipe
    pass

import sys

import os

def docat(file=sys.stdin):

sys.stdout.write(file.read())

if sys.stdin.isatty():

# keyboard

if len(sys.argv) > 1:

file = open(sys.argv[1])

docat(file)

file.close()

pass

else:

# pipe

pass

パイプの処理

標準入力がキーボードで引数がない場合やパイプの場合はstdinから読み込む

import sys
import os

def docat(file=sys.stdin):
    sys.stdout.write(file.read())

if sys.stdin.isatty():
    # keyboard
    if len(sys.argv) > 1:
        file = open(sys.argv[1])
        docat(file)
        file.close()
    else:
        docat()
else:
    # pipe
    docat()

import sys

import os

def docat(file=sys.stdin):

sys.stdout.write(file.read())

if sys.stdin.isatty():

# keyboard

if len(sys.argv) > 1:

file = open(sys.argv[1])

docat(file)

file.close()

else:

docat()

else:

# pipe

docat()

これで大体動くが、catとの違いはキーボードから入力したときのエコーバックの時期が違う。catは1行ごとにエコーバックするが、このスクリプトの場合、Ctrl+D(Linux)やCtrl+Z(Windows)でEOFが送られるか、バッファがいっぱいになるまでwriteへ処理がいかない。よってこれを直す。

import sys
import os

def docat(file=sys.stdin):
    while True:
        line = file.readline()
        if not line:
            break

        sys.stdout.write(line)

if sys.stdin.isatty():
    # keyboard
    if len(sys.argv) > 1:
        file = open(sys.argv[1])
        docat(file)
        file.close()
    else:
        docat()
else:
    # pipe
    docat()

import sys

import os

def docat(file=sys.stdin):

while True:

line = file.readline()

if not line:

break

sys.stdout.write(line)

if sys.stdin.isatty():

# keyboard

if len(sys.argv) > 1:

file = open(sys.argv[1])

docat(file)

file.close()

else:

docat()

else:

# pipe

docat()

考察

キーボードとパイプの両方から入力を受け付けると便利なことが多い。スクリプトがjsonファイルを受け付けるとき、ユーザー側には他の形式のファイルがあってそれをjsonに変換してスクリプトの入力としたい時などパイプ入力がないといったんファイルに変換しないとならなくなる。

pythonでスクリプトのあるディレクトリにログファイルをつくる

2021年6月24日

admin

python No Comments

logfilename = os.path.join(
    os.path.dirname(os.path.realpath(__file__)),
    os.path.splitext(os.path.basename(__file__))[0] + '.log')

logfilename = os.path.join(

os.path.dirname(os.path.realpath(__file__)),

os.path.splitext(os.path.basename(__file__))[0] + '.log')

__file__はスクリプトファイル、3.9以降では絶対パス、それ以前ではpythonに渡されたパスになるらしい。

realpathはシンボリックリンクなどを取り除いた絶対パスを返す。ほかにもabspathやnormpathなどがある。

dirnameはディレクトリを返す。

splitextは拡張子で分割する。

この呼び出しにより、スクリプトと同じディレクトリにあって拡張子が.logのパスが得られる。

多数の似たようなSQLを実行したい場合pythonでSQLを出力するといい

2019年7月4日

admin

MySQL python No Comments

多くの似たようなSQLを発行したい場合、例えばプログラムのfor文で回せば処理できるような場合どうすればいいか。一般にSQLはfor文はないから、pythonなどでスクリプトを書くのもいいかもしれない。がスクリプトでDBを開いてとか書くのが面倒。そこでpythonでSQLだけを出力して、それを実行してしまえばいい。

jupyter

こういうときのちょっとしたpythonスクリプトを書くにはjupyterが便利。
まずは１個のSQLをpythonのprintで出力してみる

print('RENAME TABLE `eitango`.`old_2019_tango_111_111` TO `eitango`.`old__2019_tango_111_111`;')

1	print('RENAME TABLE `eitango`.`old_2019_tango_111_111` TO `eitango`.`old__2019_tango_111_111`;')

次にfor文で回す。SQLはformatで置換する。

for i in range(1, 13):
    for j in range(1,21):
        print('RENAME TABLE `eitango`.`old_2019_tango_{0:03}_{1:03}` TO `eitango`.`old__2019_tango_{0:03}_{1:03}`;'.format(i,j))

for i in range(1, 13):

for j in range(1,21):

print('RENAME TABLE `eitango`.`old_2019_tango_{0:03}_{1:03}` TO `eitango`.`old__2019_tango_{0:03}_{1:03}`;'.format(i,j))

文字列中の{0:03}はformat引数の０番目の値を３桁で０で埋めることを指定している。これを実行すると以下のようなSQLが得られる。

RENAME TABLE `eitango`.`old_2019_tango_001_001` TO `eitango`.`old__2019_tango_001_001`;
RENAME TABLE `eitango`.`old_2019_tango_001_002` TO `eitango`.`old__2019_tango_001_002`;
RENAME TABLE `eitango`.`old_2019_tango_001_003` TO `eitango`.`old__2019_tango_001_003`;
RENAME TABLE `eitango`.`old_2019_tango_001_004` TO `eitango`.`old__2019_tango_001_004`;
RENAME TABLE `eitango`.`old_2019_tango_001_005` TO `eitango`.`old__2019_tango_001_005`;
RENAME TABLE `eitango`.`old_2019_tango_001_006` TO `eitango`.`old__2019_tango_001_006`;
RENAME TABLE `eitango`.`old_2019_tango_001_007` TO `eitango`.`old__2019_tango_001_007`;
RENAME TABLE `eitango`.`old_2019_tango_001_008` TO `eitango`.`old__2019_tango_001_008`;
RENAME TABLE `eitango`.`old_2019_tango_001_009` TO `eitango`.`old__2019_tango_001_009`;

RENAME TABLE `eitango`.`old_2019_tango_001_001` TO `eitango`.`old__2019_tango_001_001`;

RENAME TABLE `eitango`.`old_2019_tango_001_002` TO `eitango`.`old__2019_tango_001_002`;

RENAME TABLE `eitango`.`old_2019_tango_001_003` TO `eitango`.`old__2019_tango_001_003`;

RENAME TABLE `eitango`.`old_2019_tango_001_004` TO `eitango`.`old__2019_tango_001_004`;

RENAME TABLE `eitango`.`old_2019_tango_001_005` TO `eitango`.`old__2019_tango_001_005`;

RENAME TABLE `eitango`.`old_2019_tango_001_006` TO `eitango`.`old__2019_tango_001_006`;

RENAME TABLE `eitango`.`old_2019_tango_001_007` TO `eitango`.`old__2019_tango_001_007`;

RENAME TABLE `eitango`.`old_2019_tango_001_008` TO `eitango`.`old__2019_tango_001_008`;

RENAME TABLE `eitango`.`old_2019_tango_001_009` TO `eitango`.`old__2019_tango_001_009`;

あとはこれはphpMyAdminにコピペしたり、mysqlに直接流し込んでもいいかもしれない。DBの変更は間違うと大変なのでよくチェックしてから行おう。