Category Archives: git

ビルドの際にgitのリビジョン（sha1ハッシュ）をソースに埋め込んでおけば、デグレードが起きた際などにソースをかんたんに復元できるだろう。gitにはrev-parseというサブコマンドがあり、これでHEADの40桁のsha1を出力できるのでpythonで取得するには以下のように書けばいい。

def getGitHash(dir, git):
    ''' get hash from dir'''

    args = [git, '-C', dir, 'rev-parse', 'HEAD']
    hash = subprocess.check_output(args).decode('utf-8').strip()
    if len(hash) != 40:
        exit('hex digits of hash is not 40')
    return hash

def getGitHash(dir, git):

''' get hash from dir'''

args = [git, '-C', dir, 'rev-parse', 'HEAD']

hash = subprocess.check_output(args).decode('utf-8').strip()

if len(hash) != 40:

exit('hex digits of hash is not 40')

return hash

check_outputはコマンドの出力を返してくれる（コマンドが０以外を返すと例外）。

あとはC++ヘッダーファイルなどに書き出して、ビルドすればよい。

gitおサブモジュールを使っている場合はこれで問題ないが、他のgitで管理しているソースも取り込んでいる場合には、それらのハッシュも記録しておいたほうがいいだろう。

git submoduleで特定のハッシュやタグでaddする

2021年7月5日

admin

git No Comments

もともとsubmoduleは勝手に更新されたりしないので、普通にgit submodule addすると、そのときの最新状態に固定される。もっと古いものにしたいときは一旦addしてからsubmoduleのなかでgit checkout SOMETAG or HASHして、上のディレクトリでgit commitする。

実行イメージ

$ git submodule add https://example.com/git/project.git
$ cd project
$ git checkout UGOKUVERSION
$ cd ..
$ git add
$ git commit
$

$ git submodule add https://example.com/git/project.git

$ cd project

$ git checkout UGOKUVERSION

$ cd ..

$ git add

$ git commit

git cleanでいらないファイルを削除する

2021年7月5日

admin

git No Comments

TLTR

git clean -Xi
または
git clean -Xid

便利コマンド -n

-nをつけるとドライランになって。実際には削除せず、何を削除するかを表示するだけなので確認するのに便利。

-X

.gitignoreで指定されているファイルを削除する。

$ git clean -n -X
Would remove Makefile
Would remove Makefile.in
Would remove aclocal.m4
Would remove compile
Would remove config.guess
Would remove config.guess~
Would remove config.h
Would remove config.h.in
Would remove config.log
Would remove config.status
...
$

$ git clean -n -X

Would remove Makefile

Would remove Makefile.in

Would remove aclocal.m4

Would remove compile

Would remove config.guess

Would remove config.guess~

Would remove config.h

Would remove config.h.in

Would remove config.log

Would remove config.status

...

警告がでる

$ git clean -X
fatal: clean.requireForce defaults to true and neither -i, -n, nor -f given; refusing to clean
$

$ git clean -X

fatal: clean.requireForce defaults to true and neither -i, -n, nor -f given; refusing to clean

clean.requireForceが設定されていなくてデフォルトでtrueになるので、もっとオプションが必要らしい。

-i: インタラクティブ、一個ずつ確認しながら削除する。
-f: clean.requireForceを無視して削除する。

$ git clean -Xi
Would remove the following items:
  Makefile            doc/magic.4         src/apptype.lo      src/is_json.lo
  Makefile.in         install-sh          src/ascmagic.lo     src/is_tar.lo
  aclocal.m4          libtool             src/asctime_r.lo    src/libmagic.la
  compile             ltmain.sh           src/buffer.lo       src/localtime_r.lo
  config.guess        m4/libtool.m4       src/cdf.lo          src/magic.h
  config.guess~       m4/ltoptions.m4     src/cdf_time.lo     src/magic.lo
  config.h            m4/ltsugar.m4       src/compress.lo     src/pread.lo
  config.h.in         m4/ltversion.m4     src/ctime_r.lo      src/print.lo
  config.log          m4/lt~obsolete.m4   src/der.lo          src/readcdf.lo
  config.status       magic/Makefile      src/dprintf.lo      src/readelf.lo
  config.sub          magic/Makefile.in   src/encoding.lo     src/seccomp.o
  config.sub~         magic/magic.mgc     src/file.o          src/softmagic.lo
  configure           missing             src/fmtcheck.lo     src/strcasestr.lo
  depcomp             python/Makefile     src/fsmagic.lo      src/strlcat.lo
  doc/Makefile        python/Makefile.in  src/funcs.lo        src/strlcpy.lo
  doc/Makefile.in     src/Makefile        src/getline.lo      stamp-h1
  doc/file.1          src/Makefile.in     src/gmtime_r.lo     tests/Makefile
  doc/libmagic.3      src/apprentice.lo   src/is_csv.lo       tests/Makefile.in
*** Commands ***
    1: clean                2: filter by pattern    3: select by numbers    4: ask each
    5: quit                 6: help
What now>

$ git clean -Xi

Would remove the following items:

Makefile doc/magic.4 src/apptype.lo src/is_json.lo

Makefile.in install-sh src/ascmagic.lo src/is_tar.lo

aclocal.m4 libtool src/asctime_r.lo src/libmagic.la

compile ltmain.sh src/buffer.lo src/localtime_r.lo

config.guess m4/libtool.m4 src/cdf.lo src/magic.h

config.guess~ m4/ltoptions.m4 src/cdf_time.lo src/magic.lo

config.h m4/ltsugar.m4 src/compress.lo src/pread.lo

config.h.in m4/ltversion.m4 src/ctime_r.lo src/print.lo

config.log m4/lt~obsolete.m4 src/der.lo src/readcdf.lo

config.status magic/Makefile src/dprintf.lo src/readelf.lo

config.sub magic/Makefile.in src/encoding.lo src/seccomp.o

config.sub~ magic/magic.mgc src/file.o src/softmagic.lo

configure missing src/fmtcheck.lo src/strcasestr.lo

depcomp python/Makefile src/fsmagic.lo src/strlcat.lo

doc/Makefile python/Makefile.in src/funcs.lo src/strlcpy.lo

doc/Makefile.in src/Makefile src/getline.lo stamp-h1

doc/file.1 src/Makefile.in src/gmtime_r.lo tests/Makefile

doc/libmagic.3 src/apprentice.lo src/is_csv.lo tests/Makefile.in

*** Commands ***

1: clean 2: filter by pattern 3: select by numbers 4: ask each

5: quit 6: help

What now>

-iはrmなどと違ってすごく高機能。

危険領域

-Xは.gitignoreで指定されているファイルを削除するので一番安全と思われる。-Xをつけないとgit statusで表示されるようなuntrackedなファイルも削除する。しかし前述のようにclean.requireForceがfalseでない限りは追加オプションが必要になるので危険性は弱くなっている。-fだけで実行すると大事なファイルが削除されてしまう可能性が高い。しかし-dをつけないとディレクトリは削除されないようになっている。-iが高機能なので-fは一切使わないほうがいいだろう。

ファイルの特定の行を変更したコミットの差分を見る

2021年7月5日

admin

git No Comments

git blame

$ git blame -L 814,+10 -- funcs.c
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 814) file_pipe_closexec(int *fds)
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 815) {
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 816) #ifdef HAVE_PIPE2
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 817)       return pipe2(fds, O_CLOEXEC);
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 818) #else
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 819)       if (pipe(fds) == -1)
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 820)               return -1;
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 821)       (void)fcntl(fds[0], F_SETFD, FD_CLOEXEC);
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 822)       (void)fcntl(fds[1], F_SETFD, FD_CLOEXEC);
81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 823)       return 0;
$

$ git blame -L 814,+10 -- funcs.c

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 814) file_pipe_closexec(int *fds)

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 815) {

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 816) #ifdef HAVE_PIPE2

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 817) return pipe2(fds, O_CLOEXEC);

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 818) #else

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 819) if (pipe(fds) == -1)

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 820) return -1;

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 821) (void)fcntl(fds[0], F_SETFD, FD_CLOEXEC);

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 822) (void)fcntl(fds[1], F_SETFD, FD_CLOEXEC);

81f15c2b0 (Christos Zoulas 2020-12-08 21:26:00 +0000 823) return 0;

これは、funcs.cというファイルの814行目から10行の部分を変更したのは誰なのかを表示する。

git log -L

$ git --version
git version 2.32.0
$

$ git --version

git version 2.32.0

git log -Lを使うには1.8.4以上が必要らしい。

$ git log -L 814,+10:funcs.c
commit 81f15c2b0d6e9eaf524ff7bab37426c21af75fb7
Author: Christos Zoulas <christos@zoulas.com>
Date:   Tue Dec 8 21:26:00 2020 +0000

    Fix close_on_exec multithreaded decompression issue.

diff --git a/src/funcs.c b/src/funcs.c
--- a/src/funcs.c
+++ b/src/funcs.c
@@ -787,0 +792,10 @@
+file_pipe_closexec(int *fds)
+{
+#ifdef HAVE_PIPE2
+       return pipe2(fds, O_CLOEXEC);
+#else
+       if (pipe(fds) == -1)
+               return -1;
+       (void)fcntl(fds[0], F_SETFD, FD_CLOEXEC);
+       (void)fcntl(fds[1], F_SETFD, FD_CLOEXEC);
+       return 0;
...
$

$ git log -L 814,+10:funcs.c

commit 81f15c2b0d6e9eaf524ff7bab37426c21af75fb7

Author: Christos Zoulas <christos@zoulas.com>

Date: Tue Dec 8 21:26:00 2020 +0000

Fix close_on_exec multithreaded decompression issue.

diff --git a/src/funcs.c b/src/funcs.c

--- a/src/funcs.c

+++ b/src/funcs.c

@@ -787,0 +792,10 @@

+file_pipe_closexec(int *fds)

+#ifdef HAVE_PIPE2

+ return pipe2(fds, O_CLOEXEC);

+#else

+ if (pipe(fds) == -1)

+ return -1;

+ (void)fcntl(fds[0], F_SETFD, FD_CLOEXEC);

+ (void)fcntl(fds[1], F_SETFD, FD_CLOEXEC);

+ return 0;

...

コミットメッセージも表示してくれる。
変更が81f15c2b0d6e9eaf524ff7bab37426c21af75fb7によることは分かったので、これと一個前との差分を見る。

差分

$ git diff 81f15~ 81f15
....
$

$ git diff 81f15~ 81f15

....

これでコミット全体の差分が見れた。

この差分をgithubで見るにはhttps://github.com/file/file/commit/81f15みたいなURLになる。

参考

https://stackoverflow.com/a/19757493 made by Matt McClure CC BY-SA 3.0

gitで改行の違いを無視してdiffする

2021年5月11日

admin

git No Comments

$ git diff --ignore-space-at-eol

1	$ git diff --ignore-space-at-eol

git がremote: aborting due to possible repository corruption on the remote side.

2018年2月28日

admin

git No Comments

Cloning into '/home/xxx'...
remote: Counting objects: 22868, done.
remote: aborting due to possible repository corruption on the remote side.
error: pack-objects died of signal 9
error: git upload-pack: git-pack-objects died with error.
fatal: git upload-pack: aborting due to possible repository corruption on the remote side.
fatal: early EOF
fatal: index-pack failed

Cloning into '/home/xxx'...

remote: Counting objects: 22868, done.

remote: aborting due to possible repository corruption on the remote side.

error: pack-objects died of signal 9

error: git upload-pack: git-pack-objects died with error.

fatal: git upload-pack: aborting due to possible repository corruption on the remote side.

fatal: early EOF

fatal: index-pack failed

レポジトリに大きいファイルがあるか、レポジトリ自体が大きいとこうなるようだ。１つの解決法は少しずつfetchする。

git clone --depth 1 git@bitbucket.org:ambiesoft/fff.git
git -C ~/gitdev/fff fetch --depth 10
git -C ~/gitdev/fff fetch --depth 100
git -C ~/gitdev/fff fetch --depth 500
git -C ~/gitdev/fff fetch --depth 1000
git -C ~/gitdev/fff fetch --unshallow

git clone --depth 1 git@bitbucket.org:ambiesoft/fff.git

git -C ~/gitdev/fff fetch --depth 10

git -C ~/gitdev/fff fetch --depth 100

git -C ~/gitdev/fff fetch --depth 500

git -C ~/gitdev/fff fetch --depth 1000

git -C ~/gitdev/fff fetch --unshallow

これはレポジトリを全部持ってくる場合だが、その必要がなければ最初の–depth 1だけでもpushなどはできる。