【mysql】CSVをload dataするときに気をつけること

mysqlにおいて、CSVをload dataするときに気をつけること。
うっかりミスを防ぐための自分用おぼえ書き。

1.CSVファイルの改行コードを必ず「LF(\n)」にする

「CR + LF」だと、行の区切りが正しく伝わらず、おかしなところでデータが分けられる。

また、データに改行を含まないときは、行の終わりを明示しておくとハマる可能性が減る。

----------------------------------
load data local infile "/home/username/www/text.csv" into table テーブル名 fields terminated by ',' enclosed by '"' lines terminated by '\n'
----------------------------------

2.NULLが怪しいと思ったら\Nに変えてみる

NULLは\Nで表すらしい。

3.Windows内のCSVファイルでもパスの区切りは「/」(スラッシュ)

通常Windowsのパスの区切りは\(バックスラッシュ)。
しかし、Windowsにインストールしたxamppのmysqlを利用する場合、CSVファイルのパス指定は「/」(スラッシュ)で行う。

コマンドプロンプトで指定
------------------------------------------------------
○ load data infile "C:/Users/username/Desktop/test.csv" into table ~
× load data infile "C:¥Users¥username¥Desktop¥test.csv" into table ~
------------------------------------------------------

MYSQLが遅かったとき、原因究明のため調べたこと

MYSQLが遅かったとき、原因究明のため調べたこと

ターミナルでMYSQLに接続して・・・

1.show processlistでQUERYの実行時間を調べる

2.innodb_thread_concurrencyを確認
InnoDB の処理を同時に実行できるスレッド数の上限値

コマンド
-------------------------------
show variables like '%thread%'
-------------------------------
上限なしの0なので問題なし

3.max_connectionsを確認
max_connectionsは同時接続数の最大値

コマンド
-------------------------------
show variables like '%conection%'
-------------------------------
151と出たので問題なし

4.mysqladminコマンドでMySQLサーバの状態を調べる

ディレクトリ移動(xamppの場合)
-------------------------------
C:\xampp\mysql\bin
-------------------------------

コマンド(パスワードなし)
-------------------------------
mysqladmin status
-------------------------------

コマンド(パスワードあり、xamppの場合)
-------------------------------
mysqladmin status -u ユーザー名 -p
-------------------------------

詳しく見る場合
-------------------------------
mysqladmin mysqladmin extended-status
-------------------------------

こちらを参考にした

エラーが出てることに気づいたので、
-------------------------------
lock wait timeout exceeded; try restarting transaction
-------------------------------

ロックの待ち時間を確認してみる。

コマンド
-------------------------------
show variables like '%timeout%'
-------------------------------

innodb_lock_wait_timeoutが50秒であることを確認。

この件は、テーブルにインデックスをつけることで問題は解決した。
こちら

ただの覚書でした。

【mysql】テーブルにインデックスを追加する方法

mysqlで、既存のテーブルにインデックスを追加する方法

------------------------------------------------
CREATE INDEX インデックス名 ON テーブル名(フィールド名);
------------------------------------------------

もしくは、
------------------------------------------------
ALTER TABLE テーブル名 ADD INDEX インデックス名(フィールド名);
------------------------------------------------

インデックス名は下記のように省略可。
------------------------------------------------
ALTER TABLE テーブル名 ADD INDEX (フィールド名);
------------------------------------------------
この場合、インデックスのフィールド名がそのままインデックス名となる。

TEXT型など一部の型にインデックスの追加を試みると、エラーになる場合がある。

エラーメッセージ
------------------------------------------------
BLOB/TEXT column 'text_field' used in key specification without a key length
------------------------------------------------

対処法。適当にキー長を明示する。
------------------------------------------------
ALTER TABLE テーブル名 ADD INDEX インデックス名(フィールド名(100));
------------------------------------------------

最後にインデックスできてるかを確認。

確認コマンド
------------------------------------------------
show index from テーブル名
------------------------------------------------

UWSCでウインドウを整列させる

UWSCでウインドウを整列させるサンプルコード

ウインドウを上下に並べる
-------------------------------------------------
objShell = CreateoleObj("Shell.Application")
objShell.TileHorizontally
-------------------------------------------------

ウインドウを左右に並べる
-------------------------------------------------
objShell = CreateoleObj("Shell.Application")
objShell.TileVertically
-------------------------------------------------

ウインドウを重ねる
-------------------------------------------------
objShell = CreateoleObj("Shell.Application")
objShell.CascadeWindows
-------------------------------------------------

ウインドウを最小化
-------------------------------------------------
objShell = CreateoleObj("Shell.Application")
objShell.MinimizeAll
-------------------------------------------------

【MYSQL+PHP】トランザクション処理のサンプルコード

MYSQL + PHPでトランザクションを行うための記述例

トランザクションのサンプルコード
///////////////////////////////////////////////////////////////
//通常は、自動コミットが有効になっているのでクエリ入力後、すぐにコミット(データベースの更新処理)が行われる。
//トランザクション処理を行うため「SET AUTOCOMMIT=0」で自動コミットを無効する。

mysql_query("SET AUTOCOMMIT = 0"); //オートコミットを無効にする
mysql_query("begin"); //トランザクション開始

//----この間に複数の処理を記述----------------------------------

$sql1 = "UPDATE テーブル名1 WHERE ~; //処理1
mysql_query($up_sql1) OR die(mysql_error());

$sql2 = "DELETE FROM テーブル名2 WHERE ~" //処理2
mysql_query($up_sql2) OR die(mysql_error());

//----この間に複数の処理を記述 ここまで-------------------------


mysql_query("commit"); //ここで上記二つの処理が同時に実行される

///////////////////////////////////////////////////////////////

//commitがないので絶対にテーブルは更新されないサンプルコード
///////////////////////////////////////////////////////////////

mysql_query("SET AUTOCOMMIT = 0");
mysql_query("begin"); //トランザクション開始

$sql1 = "UPDATE テーブル名1 WHERE ~; //処理1
mysql_query($up_sql1) OR die(mysql_error());

$sql2 = "DELETE FROM テーブル名2 WHERE ~" //処理2
mysql_query($up_sql2) OR die(mysql_error());

mysql_query("rollback"); //ロールバックなので実行されない

///////////////////////////////////////////////////////////////

※仮にロールバックがなくても、コミットせずに接続を閉じても、MySQLはそのトランザクションをロールバックするよう。

コミットとロールバックを細かく振り分けるなら、次のような記述ができる。

コミットとロールバックを振り分けるサンプルコード
///////////////////////////////////////////////////////////////

$sql1 = "UPDATE テーブル名1 WHERE ~; //処理

$result = mysql_query($sql1);

if( $result === true ){

mysql_query("commit"); //確定
print "コミットしました";

}else{

mysql_query("rollback"); //巻き戻し
print "ロールバックしました";

}
///////////////////////////////////////////////////////////////

【mysql】重複したレコードのデータを取り出す

重複したレコードのデータを取り出すには、GROUP BY とHAVINGを使えばいい。

サンプルコード
----------------------------------------------------
SELECT カラム名 FROM テーブル名 GROUP BY カラム名 HAVING COUNT(*) >= 2;
----------------------------------------------------

HAVING句はグループ化が行われたデータに対して、条件を指定してデータの絞込みができる。サンプルコードでは、グループ化に指定したカラム名のうち、2つ以上あるものを取り出している。

※WHERE句とGROUP BY句を一緒に使った場合は、まずWHERE句よって条件に合うデータを抽出されて、その結果に対しGROUP BY句によってグループ化が行われる。HAVING句の場合と順序が逆なるということ。
※HAVEは捕まえる、選び取るの意。

複数のカラムが重複したレコードを取り出すサンプルコード
----------------------------------------------------
SELECT カラム名 FROM テーブル名 GROUP BY カラム名1,カラム名2 HAVING COUNT(*) >= 2;
----------------------------------------------------

HTMLにMP3を埋め込みブラウザで音声ファイルを再生する

HTMLにMP3を埋め込んでブラウザで再生するには、audio要素をJavaScriptから操作すればいい。

ボタンクリックでMP3が再生するサンプルコード
------------------------------------------
<html>
<head>
<script language="JavaScript"><!--
function playSound() {
document.getElementById('audio').play();

}
// --></script>

<audio id="audio">
<source src="sound.mp3" type="audio/mp3">
</audio>

<input type="button" value="再生" onclick="playSound()">

</body>
</html>
------------------------------------------

リンククリックで再生バージョンしたい場合は、再生ボタンを次のように書き換える
------------------------------------------
<a href="javascript:playSound()">再生</a>
------------------------------------------

【UWSC】localhostでIEの状態取得するとCOMエラー

Windows7インストールしたapacheで、ローカルホストにPHPファイルを置いた。
それをUWSCで操作しようとしたらCOMエラーが発生した。

COMエラーが発生したUWSCのスクリプト
-----------------------------------------

IE = CREATEOLEOBJ("InternetExplorer.Application")
IE.Visible = True
IE.Navigate("http://localhost/index.php")
BUSYWAIT(IE)
-----------------------------------------

BUSYWAITの部分でCOMエラーが発生。
下記のように書き直せすことでエラーは出なくなった。

エラーの出ないUWSCスクリプト
-----------------------------------------

IE = CREATEOLEOBJ("InternetExplorer.Application")
IE.Visible = True
IE.Navigate("http://127.0.0.1/index.php")
BUSYWAIT(IE)
-----------------------------------------

URLをIPアドレスに替えてやればエラーは発生しない。

UWSCでファイルをリネームして保存する

UWSCでファイルをリネームしたときの覚書

----------------------------------------
CMD = "CD " + GET_CUR_DIR //カレントディレクトリに移動

DOSCMD(CMD)

CMD = "ren 変更前ファイル名 変更後ファイル名"

DOSCMD(CMD)
----------------------------------------

ファイル名に半角スペースを含む場合はダブルクォートで囲む
----------------------------------------
CMD = "ren <#DBL>変更前 ファイル名<#DBL> <#DBL>変更後 ファイル名<#DBL>"
----------------------------------------

リネーム前のファイルを残す場合はコピーする
----------------------------------------
CMD = "copy 変更前ファイル名 after_copy\変更後 ファイル名"
----------------------------------------
※after_copyフォルダにリネーム後の保存先にした場合

PHPで一秒ごとにカウントを出力する【進捗表示】

PHPで進行状況をその都度出力したかったので、テストコードを書いた。

毎秒カウントアップ表示するサンプルコード
------------------------------------------

<?php

for ($i = 0; $i < 10; $i++) { echo $i; sleep(1); } ?> ------------------------------------------ これで1秒ごとにカウントして経過時間が表示されるはず。 そう思ったがうまくいかない。 調べてみると、PHPは出力のバッファリングがオンになっていることが多く、先ほどのようなスクリプトを実行しても毎秒ごとに出力してくれないらしい。 その都度出力は行われず、 代わりに内部バッファに保存される。そして後でまとめて表示される。ループのたびに出力するには「ob_end_flush()」でバッファリングをオフにすればいい。 先ほどのコードを修正 ------------------------------------------ <?php echo str_pad('',4096)."\n"; //←空文字を送る ob_end_flush(); //バッファリングをオフ for ($i = 0; $i < 10; $i++) { echo $i; flush(); // ← フラッシュする sleep(1); } ?> ------------------------------------------ テスト表示のとき意外と重要なのが「str_pad('',4096)」の部分。 多くのブラウザは、ある程度の文字列をバッファしてから表示を開始するため、ob_flush() や flush() によって、出力バッファをフラッシュしても、ブラウザのバッファに蓄積されてしまい、表示されない。 そこで、空白文字列をあらかじめ送るで、この問題を回避している。 これでもうまくいかないときは、PHP以外の何かがバッファリングを行っている疑いがある。 打開策のひとつとして、.htaccessに次の記述をする ------------------------------------------ mod_gzip_on Off ------------------------------------------ レンタルサーバ等の設定によっては、HTTPの応答がmod_gzipにより圧縮されることがあるのでOFFにする。

21 / 30« 先頭...10...1920212223...30...最後 »