2013年1月26日土曜日

UbuntuへのCeleryのインストール

Ubuntu12.10にCeleryをインストール。
Djangoアプリのバックエンドのバッチ処理用に。
Cronでも十分だけど、今後を考えて。

pipでインストール。

sudo pip install celery django-celery
インストール中にネイティブライブラリのコンパイルにPython.hが無い、という
コンパイルエラーが出る場合、python-devをaptでインストールします。

sudo apt-get install python-dev
settings.pyは
INSTALLED_APPS = (
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.sites',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'django.contrib.admin',
    'django.contrib.humanize',
    'south',
+    'kombu.transport.django',
+    'djcelery',
    'myapp',
)


+#celery
+BROKER_URL = "django://" 
+import djcelery
+djcelery.setup_loader()
 
こんな感じで追加。

そしてmyapp/tasks.pyを作り、
from celery.task.schedules import crontab 
from celery.decorators import periodic_task

@periodic_task(run_every=crontab(hour="*", minute="*", day_of_week="*")) 
def test(*args, **kwargs):
    print "TEST!"
こんなふうに書く。

試す。

>python manage.py celery worker -B

死ぬ。こんな感じのが出る。
*** glibc detected *** /usr/bin/python: munmap_chunk(): invalid pointer: 0x00007f5b9ee73fd4 ***
======= Backtrace: =========
/lib/x86_64-linux-gnu/libc.so.6(+0x7eb96)[0x7f5b9fe10b96]
/usr/local/lib/python2.7/dist-packages/_billiard.so(+0x40db)[0x7f5b9eebd0db]

(中略)
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "/usr/local/lib/python2.7/dist-packages/billiard/forking.py", line 528, in main
    self = load(from_parent)
  File "/usr/lib/python2.7/pickle.py", line 1378, in load
    return Unpickler(file).load()
  File "/usr/lib/python2.7/pickle.py", line 858, in load
    dispatch[key](self)
  File "/usr/lib/python2.7/pickle.py", line 1133, in load_reduce
    value = func(*args)
  File "/usr/local/lib/python2.7/dist-packages/celery/app/utils.py", line 130, in _unpickle_app
    return pickler()(cls, *args)
  File "/usr/local/lib/python2.7/dist-packages/celery/app/utils.py", line 109, in __call__
    self.prepare(app, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/celery/app/utils.py", line 113, in prepare
    app.conf.update(kwargs['changes'])
  File "/usr/local/lib/python2.7/dist-packages/kombu/utils/__init__.py", line 293, in __get__
    value = obj.__dict__[self.__name__] = self.__get(obj)
  File "/usr/local/lib/python2.7/dist-packages/celery/app/base.py", line 473, in conf
    return self._get_config()
  File "/usr/local/lib/python2.7/dist-packages/celery/app/base.py", line 338, in _get_config
    s = Settings({}, [self.prepare_config(self.loader.conf),
  File "/usr/local/lib/python2.7/dist-packages/kombu/utils/__init__.py", line 293, in __get__
    value = obj.__dict__[self.__name__] = self.__get(obj)
  File "/usr/local/lib/python2.7/dist-packages/celery/app/base.py", line 485, in loader
    return get_loader_cls(self.loader_cls)(app=self)
  File "/usr/local/lib/python2.7/dist-packages/celery/loaders/__init__.py", line 23, in get_loader_cls
    return symbol_by_name(loader, LOADER_ALIASES)
  File "/usr/local/lib/python2.7/dist-packages/kombu/utils/__init__.py", line 80, in symbol_by_name
    module = imp(module_name, package=package, **kwargs)
  File "/usr/lib/python2.7/importlib/__init__.py", line 37, in import_module
    __import__(name)
  File "/usr/local/lib/python2.7/dist-packages/djcelery/loaders.py", line 15, in <module>
    from django import db
  File "/usr/local/lib/python2.7/dist-packages/django/db/__init__.py", line 11, in <module>
    if DEFAULT_DB_ALIAS not in settings.DATABASES:
  File "/usr/local/lib/python2.7/dist-packages/django/utils/functional.py", line 184, in inner
    self._setup()
  File "/usr/local/lib/python2.7/dist-packages/django/conf/__init__.py", line 42, in _setup
    self._wrapped = Settings(settings_module)
  File "/usr/local/lib/python2.7/dist-packages/django/conf/__init__.py", line 95, in __init__
    raise ImportError("Could not import settings '%s' (Is it on sys.path?): %s" % (self.SETTINGS_MODULE, e))
ImportError: Could not import settings 'myproj.settings' (Is it on sys.path?): cannot import name connection
ImportErrorではあるけども、その前にglibcのエラーがドバドバ出るので
sys.path云々ではなく拡張モジュールがおかしいんだろう。

githubのissueを色々みたところ、
/usr/local/lib/python2.7/dist-packages/_billiard.so を消せ
というのがあって、たしかにそれを消すとOKなんだけども、
そうすると起動時に
[2013-01-26 22:46:14,897: WARNING/MainProcess] /usr/local/lib/python2.7/dist-packages/billiard/__init__.py:318: RuntimeWarning: force_execv is not supported as the billiard C extension is not installed
とか出てなんかちょっと気分が悪い。

個人的な趣味で、オプション付ける方を選ぶ。

>python manage.py celery worker -B
 -------------- celery@ubuntu v3.0.13 (Chiastic Slide)
---- **** -----
--- * ***  * -- [Configuration]
-- * - **** --- . broker:      django://localhost//
- ** ---------- . app:         default:0x3885090 (djcelery.loaders.DjangoLoader)
- ** ---------- . concurrency: 2 (processes)
- ** ---------- . events:      OFF (enable -E to monitor this worker)
- ** ----------
- *** --- * --- [Queues]
-- ******* ---- . celery:      exchange:celery(direct) binding:celery
--- ***** -----

[2013-01-26 22:53:13,887: WARNING/MainProcess] celery@ubuntu ready.
[2013-01-26 22:54:04,286: WARNING/PoolWorker-2] TEST!
動いた。

djceleryをsouthと使ってschemamigrationが上手くいかない場合の対処法

Djangoのプロジェクトで、バックエンド処理にCeleryを使い始めました。
Southも使っています。

celeryとdjango-celeryはpipでインストールしました。


settings.pyはこんな感じです。
INSTALLED_APPS = (
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.sites',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'django.contrib.admin',
    'django.contrib.humanize',
    'south',
    "kombu.transport.django",
    'djcelery',
    'myapp',
)
動かすにはdjcelery用のテーブルを作る必要があります。
manage.py schemamigration djcelery --init
しかし、pipでインストールした事により、djceleryは
/usr/local/lib/python2.7/dist-packages/djcelery
にインストールされるので、ユーザ権限でmigrationディレクトリが作成できません。

回避策は、それらサードパーティーのアプリをsouthの管理下から外すことです。
settings.pyに以下を書き足します。
SOUTH_MIGRATION_MODULES = {
    'django': 'ignore',    #kombu.transport.djangoのこと
    'djcelery': 'ignore',
}
あとは普通にmanage.py syncdbでOK。

kombu.transport.django が "django" になるのは若干気になるのだけど。

2012年10月31日水曜日

xmodmapでvimっぽくカーソル動かせるようにした

左手マウスのおすすめ
http://www.biwa.ne.jp/~chiro/kannkyou/mausu.htm
これを見て、試してみました。

気付いたことは
・左手は案外不器用で、軽いマウスだとなかなかポインタが定まらない
・これまでCtrlキーを常にインレンジにおさめていた左手が動くことで
 ショートカットキーを案外打ち損ねる
・右手をあまり動かさないようになると、思ったよりカーソルやPage Up/Down,Home/Endが
 遠く感じるようになる

特に最後のが結構意外で、結構右手首を小指側にぐっと曲げるような動きになってしまいます。

私はデスクのできる限り奥にモニタとキーボードを置き、
デスクの上に両肘をがっちりついてタイピングするのですが、
これまではマウスを動かすため右腕は頻繁に肘を浮かさざるを得ず、
そのためカーソルなどへも特に気にせず手を動かしていました。
ですが、右手の動きが減ると今度はそこが気になり、
しばらくすると少し右手首が痛くなってきてしまいました。

カーソルをvimっぽくhjklあたりで動かせればいいのにな…と思い、
xmodmapを書いてみました。

CapsLockを押しながらhjklでカーソル、
y/bをHome/End、u/nをPageUp/Downにしてみました。
間違って押すと鬱陶しいCapsLockも殺せて一石二鳥。

ついでに勢い余ってgにBackSpace,スペースバーにEnterまで割り当ててみたものが以下。

~/.Xmodmap
clear Lock
remove Control = Mode_switch
keycode 66 = Mode_switch
keycode 29 = y Y Home Home
keycode 30 = u U Prior Prior
keycode 42 = g G BackSpace BackSpace
keycode 43 = h H Left Left
keycode 44 = j J Down Down
keycode 45 = k K Up Up
keycode 46 = l L Right Right
keycode 56 = b B End End
keycode 57 = n N Next Next
keycode 65 = space NoSymbol Return
ちなみに一応書いておくと環境はUbuntu 12.10、英語キーボードです。

慣れたら相当快適なんじゃないかという予感を感じております。

#HHK使えばいいんじゃねとか禁止w

ちなみにエントリの趣旨的にもはやどうでもいいことですが
個人的にはマウスのボタンは入れ替えない方が使いやすく感じました。

2012年10月21日日曜日

Ubuntu 12.10入れた(VirtualBox編)

Ubuntu 12.10。

というわけでまずはメインの職場の開発環境であるVirtualBox (on Win7) に
クリーンインストールしてみた。

以前のバージョンまで、VirtualBoxのゲストでは3Dアクセラレータを有効にすると
フルスクリーンにした時に描画がフリーズしてしまうという現象が出てしまい、
(参照→ http://www.youtube.com/watch?v=WOLv-9VwcTc )
Unity 2Dでしか使えず。
まあその後結局 xubuntu で使っている。
とりあえずインストールは普通に終了。
その後VirtualBox Guest Additionをインストールする必要があるが、
VirtualBox 4.1.22に付属のGuest Additionは、
Ubuntu 12.10のXの方がバージョンが新しいせいかインストールに失敗。

さてどうしようかなと思ったが、 何のことはなく
sudo apt-get install virtualbox-guest-additions
でOK。

そして問題のフルスクリーン。
一応フリーズはせずちゃんと動く…が。
重い。重いぞこれ。
とりあえずCompiz ConfigでFadingやAnimationを切って
何とかまあ許容できるかなというレスポンスになった。

そして次にランチャー。
画面は出来るだけ広く使いたくてランチャーは隠れていてほしいので
System SettingsのAppearanceのBehaviorタブで(私は英語でインストールしているので)で
Auto-hide the Launcherをonにした…ら、残念なことが。


ランチャーが非表示になったところの壁紙の色がおかしいまでなら全然構わないのだが、
そこにウィンドウを持っていったらその謎の帯の下に入ってしまうという残念な現象。
これは致命的。

というわけでさっさと諦めてxubuntuにする。さようなら新Unity。
色々新機能付いたLensとか見るまで行かなかったよ。

sudo apt-get install xubuntu-desktop
そしてXubuntuで再起動し、色々アプリをapt-get install。
それと私は開発用のIDEにはAptana Studio 3を使っているのでダウンロードして展開。
ランチャーに登録。同梱のアイコンを設定…


なんだこれ。
どうやらxpm形式の扱いがうまくいかなくなってる。
convert icon.xpm -resize 48x48 icon.png
変換したpngを割り当てればOK。

そして、仕事上Google Talkをよく使うため、Empathyを設定。
Empathyを起動し、アカウントを追加しようとしたところ、
こんなダイアログが表示される。


うん?

Empathyは、今回のUbuntuの目玉の一つである「ネットワークサービスアカウントの管理」に
関係していたはず。
ここの「Personal」の並びに「Online Accounts」というのがあったはずだが、それがない。
kupferでOnline Accounts打ってみるとアイコンは出るが、
やはり同じ画面に。

どうやらまあ要するにXubuntuだとだめ、という状態である模様。
ログアウトしてUbuntuで入りなおして設定したら、
Xubuntuの方でもEmpathyがちゃんと動いた。
まあ一度設定したらしばらく変更する事はないものなのでよしとする。

というわけでUbuntuというかXubuntu12.10。
特に何が変わった感じはしません。
そりゃXubuntuだしね。

変わったか?と思ったこととすれば、mozcの変換候補で
同音異議語に「用例」が出るようになってる。
これはありがたい。

あとXubuntuの壁紙はグラデーションの右下に○がいくつか並んでるようなものだけど
これはシンプルかつスタイリッシュでいいと思う。

以上、何かあんまり他の人の役に立たなそうなUbuntuインストール記。

2012年9月21日金曜日

PHPのarrayの入れ子を作るのに苦労して=&とunsetを使って何とかした話

PHPで、

こんな感じのDBから読んできたデータから、


こんな構造を作りたいなと思ったのです。

こんな感じかな。
<?php
//ここから
function row($type,$typeName,$value1,$value2){
    return array("type" => $type,
                 "typeName" => $typeName,
                 "value1" => $value1,
                 "value2" => $value2);
}
$rows = array(row(1,"あ","ABC","DEF"),
            row(1,"あ","AAA","BBB"),
            row(1,"あ","XXX","YYY"),
            row(2,"い","BEEF","PORK"),
            row(2,"い","COFFEE","TEA"),
            row(2,"い","MILK","COCOA"));
//ここまではサンプルデータを作っているところなので本題とは関係なし。
//データはソートはされているものとする。

$tree = array();    // $treeが最終的なルート配列オブジェクト
$prevType = null;   // Typeが変わったらこの処理をする…というためのもの
foreach($rows as $r){  //1行ずつ読む
    if($prevType !== $r["type"]){ //もしTypeが変わったら
        // 変更チェック用の変数を更新し
     $prevType = $r["type"];
        // 親のノードを新規作成し、$typenodeを差し替え
        $typenode = array("type" => $r["type"],
                          "typeName" => $r["typeName"],
                          "values" => array()); // 親のノードは子を格納する配列を持つ
        // 作った親のノードをルート配列に追加
        $tree[] = $typenode;
    }
    // 子のノードを作成
    $valuenode = array("value1" => $r["value1"],
                        "value2" => $r["value2"]);
    // 今の時点で $typenode で親ノードが参照出来るはずで、
    // それに対して"values"で引ける子ノード格納用配列に、
    // 子のノードを追加
    $typenode["values"][] = $valuenode;
}
実行してみた結果。
( ಠ益ಠ)
ステップ実行してみると、
        :
        // 作った親のノードをルート配列に追加
        $tree[] = $typenode;
    }
        :
    // 今の時点で $typenode で親ノードが参照出来るはずで、
    // それに対して"values"で引ける子ノード格納用配列に、
    // 子のノードを追加
    $typenode["values"][] = $valuenode;
}
この下の方の$valuenodeを追加しているところで、
「$typenode」には追加されるものの、
「$treeからたどれる『$typenodeと同じものであるはずのもの』」
には追加されているように見えない。
        $tree[] = $typenode;
で、$typenodeそのものがコピーされてしまっているように見える。
本当は違っててその後変更が発生しそうになった時にコピーされるんだろうけど。

なのでこうしてみた。=&で参照渡し的な何かになるはずと聞いて。
        $tree[] =& $typenode;
実行してみた結果。
(╬ಠ益ಠ)

今度は、二週目の
        // 親のノードを新規作成し、$typenodeを差し替え
        $typenode = array("type" => $r["type"],
                          "typeName" => $r["typeName"],
                          "values" => array()); // 親のノードは子を格納する配列を持つ
        // 作った親のノードをルート配列に追加
        $tree[] =& $typenode;
の上の方のところで「新しいノードを作って$typenodeを差し替えた」だけのつもりが、
既に一周目でセットした$tree[0]の要素までも差し替わってしまった。

参照渡し…ってそこまで参照なの!?
これ、そもそもマインドモデルが上の図と違ってて、模式図で表せない。

最終的にこうしたら何とかなった。
$tree = array();
$prevType = null;
foreach($rows as $r){
    if($prevType !== $r["type"]){
        $prevType = $r["type"];
        unset($typenode);
        $typenode = array("type" => $r["type"],
                          "typeName" => $r["typeName"],
                          "values" => array());
        $tree[] =& $typenode;
    }
    $valuenode = array("value1" => $r["value1"],
                        "value2" => $r["value2"]);
    $typenode["values"][] = $valuenode;
}
差し替える前にunsetをする事で、
$typenodeというシンボルと実体との紐付けが解放されるので、
あらためて作ったarrayをセットしても既存のデータ構造に影響を与えない。

なんだこの仕様。

array関数で新たに配列作って変数に代入する、って
「mallocしてそのポインタを返す」的な感覚かと思ってたら、
「返す先のポインタがあったら指している領域に上書きする」みたいな
日本語すら怪しくなるような動きもするとは。
理解に苦しむ。

2012年9月18日火曜日

mroongaのデータを壊してテーブルも消せなくなったのを何とかした風

先週末ハマった件のメモ書き。
これで合っているかどうか保証も何も全く無いので
参考にする場合は自己責任で。

mroongaをストレージモードで使った開発中、
安直な設計でテーブル作って膨大なデータのinsertクエリを実行してしまった。

全然戻ってこないのでクエリのキャンセルをしたのだがそれでも戻ってこず。
mysqldのrestartも実行したが戻ってこず。
仕方なくkill -9で抹殺。

その後再起動し、この設計じゃダメだなと思いdrop tableしようとしたら
drop tableも戻ってこない。

プロセスリストを見てみると
select count(*) into @discard from `information_schema`.`PARTITIONS`
というSQLをdebian-sys-maintが実行していて全然戻ってきていない。
こいつがロックしている線が濃厚。


当該のSQLやdebian-sys-maintでググってみると
「debian系のおせっかいだからスクリプトいじって黙らせちゃえよ」
みたいな記事が見つかるが、
それもなんだかイカン気がする。

やけくそでmysql止めて
/var/lib/mysql/【スキーマ名】.mrn.*
のファイルを全消しして
再起動してdrop tableしてみる。
瞬時にdisconnected from server的なメッセージが出て、
mysqldのプロセスIDが変わってる。
悪化/(^o^)\

repair tableとかあがいてみる。
「このエンジンはリペアとかないよ」的なメッセージが出る。

そこでふと、以前mysqlのバージョンだけ上がってmroongaプラグインが読み込めなくなって
mysqlの起動が出来なくなってヒイコラした時、
その後drop tableは普通にできたよなーという記憶が。

ということでUNINSTALL PLUGINして、dropしてみる。
…成功!


あらためてINSTALL PLUGINして、テーブル作ってまともな量insert。
無事動作している模様。


多分こうなった場合、
  1. UNINSTALL PLUGIN
  2. drop table
  3. mrnファイル削除
  4. INSTALL PLUGIN
  5. create table
とすればいいのかなという気がしているけど
実はまずいのかもしれない。不明。


やってみる場合自己責任で。

2012年8月6日月曜日

ubuntuでusermod -Gでやらかしてsudo出来なくなった場合

開発PCの/var/lib/mysqlの中のファイルをいちいちsudoせずに参照したくなった。
ubuntuのユーザ名はadmin。
mysqlグループでの権限追加して、自分もmysqlグループに入ればいいだろ。
$ sudo chmod g+rx /var/lib/mysql
$ sudo usermod -G mysql admin
ログアウトしてログイン。
$ cd /var/lib/mysql
よし入れた。
おっと、見たいのはこの中のデータベースごとのディレクトリ内。
$ cd db1
bash: cd: db1: Permission denied
おおっと、データベースごとのディレクトリにも権限を足さないといけない。
$ sudo chmod g+rx db1
[sudo] password for admin:admin is not in the sudoers file.  This incident will be reported.
?…!! やっちまった!

usermod -G は所属グループを上書きするので,
元々所属していたsudoグループから引っ剥がされてしまった!
もとい、引っ剥がしてしまった orz


まあまあ、ありがちありがち。
一度深呼吸して、PCをブチ切り再起動。

grubで[recovery mode]を選択して起動し、rootシェルを選択。
# mount -o rw,remount /
# usermod -G adm,cdrom,sudo,dip,plugdev,mysql admin
# reboot
再起動で復活。

後の方のusermod -G以降は、ほぼ同じ設定で立てていたVMから拾ってきたもの。
そういうのが無い方でやらかしてすぐだった方は
/etc/group- に直前の設定が残っているので
rootシェルで入ったあとすぐ参照して控えましょう。

複数回usermodやっちゃった方は南無。
でもとりあえずadmとsudoぐらい入っておけば何とかなるでしょう。

2012年6月18日月曜日

Wineで3Dなソフトがうまく動かないとき

普段使っているのはIntelのしょぼいグラフィックチップのPCなのだが
Windows用の3DなソフトをWineで動かしてみようとしたら
Unhandled page fault on read access
なんていうのが出た。

色々調べてみたところ、テクスチャの圧縮展開ライブラリ関係に問題があるらしい。
まあそりゃそもそもmesaドライバだしな。

libtxc-dxtn-s2tc というのを入れると改善するかも、とのこと。
sudo apt-get install libtxc-dxtn-s2tc-bin libtxc-dxtn-s2tc0
おお。魔法のようだ。

2012年6月17日日曜日

Win7でユーザのログインIDなどを変更する


Windows 7 は基本的にユーザの表示名が使われるようになっているので
表示名だけ変えれば普段は気にならないが、
リモートデスクトップなどで繋ぐ時に混乱の元になる。

リモートデスクトップで繋ぐ際に指定するユーザ名称を変更するには、
  管理ツール→コンピューターの管理
で


  コンピューターの管理→システムツール→ローカル ユーザーとグループ→ユーザー
を開き


  「名前」をクリックして変更。
基本的にはこれでOK。

ただしこれだとユーザフォルダの名前が古いままで若干気持ちが悪い。
ユーザフォルダの名称を揃えるには、別な管理者アカウントでログインし、
C:\Users\の下のフォルダ名称を変更した上で、
レジストリエディタで
  HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsNT\CurrentVersion\ProfileList

の下の
  ProfileImagePath
の値をそれに揃えてやる事で、
次に該当ユーザでログインした際に辻褄が合う。 
この過程で、フォルダ名を変えようとして管理者アカウントでログインする時に
「ユーザの切り替え」をしてしまうと、元のユーザフォルダは使用中になっていて変更できないので
PCごと再起動する方がよい。

また、PCを再起動して別な管理者アカウントでログインしただけなのに
既に使用中になっていることもある。
自分の場合、Windows Media Playerのサービスがアクセスしていた。
 管理ツール→サービス
を開き、
 Windows Media Player Network Sharing Service
を「停止」させたところ、フォルダ名の変更ができた。

フォルダ操作をしようとしたときに「使用中です」となってしまう場合、
Unlocker を使うと何のプログラムがロックしているのか分かって便利。

2012年6月14日木曜日

ubuntuにapache-google-apps-ssoをインストール

https://github.com/epotocko/apache-google-apps-sso
ApacheのレイヤーでGoogle Apps認証かけちゃうというもの。
mod_auth_memcookieというモジュールとphpを使ってる。

まずapt関係で必要なものをゲット。
apt-get install memcached php5-memcache
apt-get install apache2-prefork-dev libmemcache-dev
次に、mod_auth_memcookieをビルド。
http://sourceforge.net/projects/authmemcookie/files/
からソースをDLし展開。
tar zf mod_authmemcookie_v1.0.2.tar.gz
cd mod_authmemcookie_v1.0.2
ubuntuの場合apxs2のインストールパスが違うので、Makefileを修正。
MY_APXS=/usr/sbin/apxs2
        ↓
MY_APXS=/usr/bin/apxs2
ビルド&インストール。
make
sudo make install
apacheのロードスクリプトを書く。
/etc/apache2/mods-available/auth_memcookie.load
#一行で書く
LoadModule mod_auth_memcookie_module /usr/lib/apache2/modules/mod_auth_memcookie.so
有効化。
sudo a2enmod auth_memcookie

引き続き、phpなどの設定。

/var/www/auth ディレクトリを認証モジュール用に使い、
その他サイト全体を認証の対象とすることにする。

https://github.com/epotocko/apache-google-apps-sso
の中のsrc/public直下のphpファイルと、src/GAppsディレクトリ自体を
/var/www/auth/下にコピー。
git clone https://github.com/epotocko/apache-google-apps-sso.git
cd apache-google-apps-sso/src
sudo mkdir /var/www/auth
sudo cp -rf GApps /var/www/auth/
sudo cp -rf public/* /var/www/auth/.
次にphp-openid。
12.04ならばaptで入れたものでもOKだった。
apt-get install php-openid
10.04だとバージョンが古くてうまく動かなかったので、公式から落としてきて
その中のAuthディレクトリを/var/www/auth/以下にコピーする。
git clone https://github.com/openid/php-openid.git
cp -rf php-openid/Auth /var/www/auth/
ここから下は https://github.com/epotocko/apache-google-apps-sso の
公式の情報と基本的に同じ。

/var/www/auth/settings.phpファイルを更新。
コメントアウトされていない二行を編集。
GApps_Session::$BASE_URL = 'http://【ホスト名】/auth/'; //動かすホスト名
GApps_Session::$DOMAIN_NAME = '【Google Appsドメイン名】';
apacheの設定を書き足す。
default編集するなり、別ファイル作ってVirtualHostに入れるなり。
<IfModule mod_auth_memcookie.c>
    <Location />
        Auth_memCookie_CookieName GOOG_SESSIONID
        Auth_memCookie_Memcached_AddrPort 127.0.0.1:11211
        ErrorDocument 401 "/auth/login.php"
        Auth_memCookie_Authoritative on
        AuthType Cookie
        AuthName "GApps Login"
    </Location>
</IfModule>

<LocationMatch "^/(?!auth)">
    Require valid-user
</LocationMatch>
apache再起動。
sudo /etc/init.d/apache restart

2012年6月10日日曜日

gitで名前やメールアドレスを置換する

毎回調べてしまうので自分用メモ。
git filter-branch --commit-filter '
if [ "$GIT_COMMITTER_NAME" = "【修正前の名前】" ]; then
    GIT_AUTHOR_NAME="【修正後のAUTHORの名前】"
    GIT_AUTHOR_EMAIL="【修正後のAUTHORのメールアドレス】"
    GIT_COMMITTER_NAME="【修正後のCOMMITTERの名前】"
    GIT_COMMITTER_EMAIL="【修正後のCOMMITTERのメールアドレス】"
fi
git commit-tree "$@"
' HEAD

2012年6月9日土曜日

DjangoのURL namespacesのところを和訳した


https://docs.djangoproject.com/en/dev/topics/http/urls/#url-namespaces
何回流し読みしてもよく分からないので、和訳した。

URL namespaces
URL ネームスペース

Namespaced URLs are specified using the : operator. For example, the main index page of the admin application is referenced using admin:index. This indicates a namespace of admin, and a named URL of index.

ネームスペースに関連付けられたURLは、:演算子を使い表現されます。例えば、adminアプリケーションのメイントップページは admin:index で参照されます。これはadminネームスペースのindexと名付けられたURLを示します。

Namespaces can also be nested. The named URL foo:bar:whiz would look for a pattern named whiz in the namespace bar that is itself defined within the top-level namespace foo.

ネームスペースは入れ子にできます。 foo:bar:whiz というURL名は、それ自身がfooというトップレベルのネームスペース内に定義されているbarというネームスペース内のwhizと名付けられたパターンを指します。

When given a namespaced URL (e.g. myapp:index) to resolve, Django splits the fully qualified name into parts, and then tries the following lookup:

与えられたネームスペースに関連付けられたURL(例…myapp:index)を解読する場合、Djangoは完全記述された名称を要素単位に分割し、以下の検索を試みます。

1. First, Django looks for a matching application namespace (in this example, myapp). This will yield a list of instances of that application.

まず、Djangoは一致するアプリケーションネームスペースを探します(この例の場合myapp)。該当するインスタンスのリストが抽出されます。

2. If there is a current application defined, Django finds and returns the URL resolver for that instance. The current application can be specified as an attribute on the template context - applications that expect to have multiple deployments should set the current_app attribute on any Context or RequestContext that is used to render a template.

もしカレントアプリケーションが定義されていれば、Djangoはそのインスタンスに対するURLリゾルバを探して返します。カレントアプリケーションはテンプレートコンテキストの属性として特定されます。複数デプロイされる事が想定されているアプリケーションは、テンプレートをレンダリングする時に使われるContextおよびRequestContextにcurrent_app属性がセットされるべきです。

3. The current application can also be specified manually as an argument to the reverse() function.

カレントアプリケーションはreverse()関数の引数として明示的に指定も出来ます。

4. If there is no current application. Django looks for a default application instance. The default application instance is the instance that has an instance namespace matching the application namespace (in this example, an instance of the myapp called myapp).

もしカレントアプリケーションが指定されない場合、Djangoはデフォルトアプリケーションインスタンスを探します。デフォルトアプリケーションインスタンスとは、アプリケーションネームスペースと一致するインスタンスネームスペースを持つインスタンスです(この例の場合myapp、と呼ばれているmyappのインスタンス(訳注:namespace="myapp",app_name="myapp"という事ですかね))

5. If there is no default application instance, Django will pick the last deployed instance of the application, whatever its instance name may be.

もしデフォルトアプリケーションインスタンスが無い場合、Djangoは最後にデプロイされたアプリケーションのインスタンスを取り上げます。そのインスタンス名(訳注:インスタンスネームスペース名?)が何であれ。

If the provided namespace doesn't match an application namespace in step 1, Django will attempt a direct lookup of the namespace as an instance namespace.

もし与えられたネームスペースがステップ1のアプリケーションネームスペースにマッチしない場合、Djangoはインスタンスネームスペースであるとして直接検索を試みます。

If there are nested namespaces, these steps are repeated for each part of the namespace until only the view name is unresolved. The view name will then be resolved into a URL in the namespace that has been found.

もしネームスペースが入れ子になっている場合、ビュー名が解決されるまでネームスペースの各要素ごとにこれらのステップが繰り返されます。ビュー名は見つかったネームスペース内のURLとして解決されます(訳注:ここ適当。ここに限らないけど)。

To show this resolution strategy in action, consider an example of two instances of myapp: one called foo, and one called bar. myapp has a main index page with a URL named index. Using this setup, the following lookups are possible:

この解決手順を順を追ってお見せするため、例として2つのmyappのインスタンスを考えます。片方はfoo、もう片方はbarです。myappのトップページのURLにはindexという名前がついています。この設定に基づき、以下の検索が可能です。

・If one of the instances is current - say, if we were rendering a utility page in the instance bar - myapp:index will resolve to the index page of the instance bar.

もしどちらかのインスタンスがカレントならば…すなわち、barインスタンスのユーティリティページをレンダリングしていた場合、myapp:indexはbarインスタンスのトップページとして解決されます。

・If there is no current instance - say, if we were rendering a page somewhere else on the site - myapp:index will resolve to the last registered instance of myapp. Since there is no default instance, the last instance of myapp that is registered will be used. This could be foo or bar, depending on the order they are introduced into the urlpatterns of the project.

もしカレントインスタンスが無い場合…すなわちサイト内の何か別なページをレンダリングしていた場合…myapp:indexはmyappのうち最後に登録されたインスタンスに対して解決されます。デフォルトインスタンスが無いので、登録されたmyappの内最後のインスタンスが使われます。fooでもbarでも、プロジェクトのurlpatternsに登録された順に依存します。

・foo:index will always resolve to the index page of the instance foo.

foo:index は常にfooインスタンスのトップページとして解決されます。

If there was also a default instance - i.e., an instance named myapp - the following would happen:

もしデフォルトインスタンスもあった(インスタンス名がmyappとなっていた)場合、以下のようになります。

・If one of the instances is current - say, if we were rendering a utility page in the instance bar - myapp:index will resolve to the index page of the instance bar.

もしどちらかのインスタンスがカレントならば…すなわち、barインスタンスのユーティリティページをレンダリングしていた場合、myapp:indexはbarインスタンスのトップページとして解決されます。

・If there is no current instance - say, if we were rendering a page somewhere else on the site - myapp:index will resolve to the index page of the default instance.

もしカレントインスタンスが無い場合…すなわちサイト内の何か別なページをレンダリングしていた場合…myapp:indexは、デフォルトインスタンスのトップページとして解決されます。

・foo:index will again resolve to the index page of the instance foo.

foo:index はこの場合もfooインスタンスのトップページとして解決されます。

和訳したけど正直なところイマイチピンとこない。
とりあえずインスタンスネームスペースの方がアプリケーションネームスペースより粒度が小さい…という解釈でいいのだろうか。

2012年6月7日木曜日

Glipperがエラーで落ちまくるのを直す

Ubuntu 12.04 preciseにしてからなぜかGlipperがエラーで落ちまくっていた。

単に再インストールしたら直った。
sudo apt-get remove glipper
sudo apt-get autoremove
sudo apt-get install glipper

2012年6月4日月曜日

あるディレクトリ以下のファイルの拡張子の一覧を取得するワンライナー

find -type f | sed -e 's/^.*\([\.|\/].*\)$/\1/' | sort | uniq
拡張子無しの場合はファイル名を出す。ような動きになるはず。

こういうの書くときsedよりperl使うようにしようかなー。
perlの正規表現の方がメジャーだし。
いい思い出ないけど。

2012年5月31日木曜日

Vimで文字コード変更

MySQL4にEUCで入っているデータをUTF-8に変換しようとして、
mysqldumpでSQL出してnkfで文字コード変換した。

それを流し込んだところ、SQLの構文エラーが出る。
よく見てみたところ、SQL内の文字列の終わりのクォーテーションが無い。
(1,2,'あいうえお1かきくけ,'さしすせそ')
みたいになっている。

nkfの変換前のデータをあらためて調べてみると、
その部分にマルチバイト文字の前半がゴミとして挟まっていた。
(1,2,'あいうえお1かきくけゴミ','さしすせそ')
こんな感じ。
nkfだとそのゴミを直後のクォーテーションと絡めて消してしまうようだ。

さほど巨大ではないSQLだったので、Vimで変換した。
Vimで開き、
:e ++enc=eucjp-ms
:set fileencoding=utf8
:wq!
これでEUC→UTF-8に変換して保存できる。

該当箇所のゴミは「?」になるようだ。
(1,2,'あいうえお1かきくけ?','さしすせそ')

2012年5月26日土曜日

virt-managerでlibvirtdに繋ぐ場合

何も考えずにlibvirtdインストールして動かして、
そこにvirt-managerインストールして動かして接続しようとすると
Not Connectedの状態になって繋がらない。
でもsudoで動かすと繋がる。

そんな場合はユーザをlibvirtdグループに追加すればよい。
sudo usermod -a -G libvirtd 【自分のユーザ名】
設定したら一度ログアウトしてログインしなおす。

2012年5月21日月曜日

mysqldumpでlocalhostのポート指定

リモート環境のmysqlをsshポートフォワード経由でlocalhost:13306にマップして接続し、
ローカル環境のmysqlとスキーマ等の違いを確認するためにmysqldumpを使った。
manを見る限り、ポート番号は -P または --port= で指定出来ると書いてある。

mysqldump -h localhost -P 13306 -u XXX -p XXX -d --compact XXX > out.sql
そしてローカルのmysqlに対し同様に出したsqlと比較。

奇跡の完全一致。

そんなバカな。

ローカルのmysqlを停止させて実行してみる。
mysqldump: Got error: 2002: Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2) when trying to connect
やっぱり。

エラーメッセージからするに、ドメインソケットを使ってるっぽい。
-P 指定していてもお構いなしっていうのはどっちかというとバグなんじゃないのかな。

強制的にTCPを使用させればうまくいく。
mysqldump --protocol=TCP -h localhost -P 13306 -u XXX -p XXX -d --compact XXX > out.sql

2012年5月3日木曜日

mysql5.5のcharset指定

ubuntu 12.04のmysqlは5.5。

DBのデフォルトの文字コードをutf8にするのに前までは
/etc/mysql/conf.dの下に charset.cnf とか適当な名前で
[mysqld]
default-character-set=utf8
と書いていたけど、5.5だとエラーになってしまう。

[mysqld]

character-set-server=utf8 
に書き換える。

2012年4月28日土曜日

Ubuntu 12.04入れてみていくつか

Ubuntu 12.04入れてみました。
ネイティブで11.10が動いているもののアップグレードと、
VirtualBox上にクリーンインストールと。

気付いた点を何点か。

まず11.10からのアップグレードの方。
  • アップグレードの場合、まずパッケージファイルをダウンロードした後に
    一つずつインストールされていきますが、
    私の場合そのインストール中にウィンドウやランチャーなどが消え
    壁紙だけの状態になってしまいました。

    やむなく電源を落として再起動したところ、途中で固まってしまう状態に。

    解決策は、grubで古いカーネルのリカバリモードを選択して起動し、
    そこからdpkgを選択してインストールの続きを行うこと。
    設定ファイルが修正されていて、残すか上書きするかを聞いてきたりしたときは
    見づらいですが頑張って読みましょう。 
   それ以外は特になし。

次に12.04のクリーンインストールの方。
  • ランチャーをAuto hideにするとうまく動作しません。
    マウスカーソルを左端に持っていっても表示されません。
    http://ubuntuforums.org/showthread.php?t=1965991

    どうやらバグのようです(ちなみに11.10からアップグレードした方は普通に大丈夫)。
    修正を待ちましょう。
  •  フォントの変更がデフォルトではできません。
    gnome-tweakをインストールします。
  • こっちの環境では英語キーボードを使っていて、Alt+「`」でiBusのon/off切り替えをするのですが
    デフォルトだと「同じアプリ内のウィンドウのスイッチ」として動作してしまいます。
    1. System Settings...から
    2. [Keyboard]-[Shortcuts]-[Navigation]と辿り、
    3. [Switch Windows of an application]がデフォルトで[Disabled]となっているのですが、
      一度それに何か適当なショートカットキーを割り当て、削除します。
      これで解決。

  • 開発にAptana Studio 3を使っているのですが、
    ダウンロードして展開してaptana_studio_3を起動しても
    ランチャー上で固定できません。
    解決策として、
  1. alacarte を起動
  2. Programmingを選択して「New Item」をクリック
  3. メニュー項目の設定をして保存する
  4. dash homeから3.で作った項目を検索し、クリックして実行する
  5. ランチャーに出てきたアイコンを固定する
とするのが楽。

Ubuntuにmecab+groonga+mroongaをソースからインストール

Ubuntuにmecab+groonga+mroongaをソースからインストールする。

mroongaのサイトにある手順ではリポジトリ追加してapt-get install、で
それはもう簡単にインストールできたのですが
その後mysqlがアップデートされたらうまく動かなくなってしまったので
ひと通りソースからビルドしました。

以下はバイナリやライブラリは/usr/bin/,/usr/lib/など、
confは/etc/に配置する手順です。
  1. ビルドに必要なものをインストール
    sudo apt-get install build-essential
    sudo apt-get install libtool
    sudo apt-get install autoconf
    sudo apt-get install apt-src
    sudo apt-get install libmysqlclient-dev
  2. mecabをビルドしてインストール

    http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html#download
    ここからのリンクでソースをゲット。
    今はmecab-0.993.tar.gzでした。
    tar zxf mecab-0.993.tar.gz
    cd mecab-0.993
    ./configure --prefix=/usr \
        --sysconfdir=/etc \
        --with-charset=utf8
    make
    sudo make install
    sudo ldconfig
  3. mecabの辞書をビルドしてインストール

    上のリンク先の「IPA辞書」をダウンロード。
    今はmecab-ipadic-2.7.0-20070801.tar.gzでした。
    tar zxf mecab-ipadic-2.7.0-20070801.tar.gz
    cd mecab-ipadic-2.7.0-20070801
    ./configure --prefix=/usr \
        --sysconfdir=/etc \
        --with-charset=utf8
    make
    sudo make install
  4. groongaをビルドしてインストール

    https://github.com/groonga/groonga/tags
    から、タグ振ってあるものをダウンロード。
    今回はgroonga-groonga-v2.0.1-0-g700532f.tar.gz
    というファイル名でダウンロードしました。
    tar zxf groonga-groonga-v2.0.1-0-g700532f.tar.gz
    cd groonga-groonga-4627bd1
    ./autogen.sh
    ./configure --prefix=/usr \
        --sysconfdir=/etc \
        --with-default-encoding=utf8
    make
    sudo make install
    sudo ldconfig
  5. mroongaをビルドしてインストール

    mysqlのソースをaptでゲット。
    apt-src install mysql-server
    今回はmysql-5.1-5.1.62というディレクトリにソースが落ちました。

    https://github.com/mroonga/mroonga/tags
    から、タグ振ってあるものをダウンロード。
    今回はmroonga-mroonga-v2.01-0-g8378adf.tar.gz
    というファイル名でダウンロードできました。
    tar zxf mroonga-mroonga-v2.01-0-g8378adf.tar.gz
    cd mroonga-mroonga-1bfcbe2
    ./autogen.sh
    ./configure --prefix=/usr \
        --sysconfdir=/etc \
        --with-mysql-source=$PWD/../mysql-5.1-5.1.62 \
        --with-mysql-config=/usr/bin/mysql_config \
        --with-default-parser=TokenMecab
    make
    sudo make install
  6. apparmorの設定を変更

    ubuntuではmysqldの動きはapparmorで制限されていて、
    このままではMecabの辞書もgroongaの設定ファイルも参照できないので、
    アクセス出来るように設定を追加します。

    以下の内容のファイルを作成します。
    /etc/apparmor.d/abstractions/mysql-server-mroonga
    /usr/lib/groonga/plugins/ r,
    /usr/lib/groonga/plugins/** rm,
    /etc/mecabrc r,
    /usr/lib/mecab/ r,
    /usr/lib/mecab/** r,
    以下のファイルに、追記します。
    /etc/apparmor.d/local/usr.sbin.mysqld
    #include <abstractions/mysql-server-mroonga>
  7. mysqlにプラグインを登録

    mysqlにログイン。
    mysql -uroot -p
    password:
    プラグイン登録。
    mysql> INSTALL PLUGIN mroonga SONAME 'ha_mroonga.so';
    funtionの登録。
    mysql> CREATE FUNCTION last_insert_grn_id RETURNS INTEGER soname 'ha_mroonga.so';
 以上で、動くようになりました。

この情報は2012/04/26頃の情報です。